第一章:多租户隔离的挑战与架构设计
1.1 原生Ceph RGW的租户模型
Ceph RGW通过S3中的tenant标识符实现逻辑隔离:
text
s3://<tenant>/<bucket>/<object>
在底层RADOS中,不同的租户默认映射到不同的存储池(.rgw.buckets.data),但物理OSD仍然是共享的。这导致了三个主要问题:
IOPS竞争:高并发租户消耗OSD的线程池和Disk Queue。
带宽争抢:千兆/万兆网络出口被单一大文件下载占满。
元数据热点:所有租户共享
.rgw.meta和.rgw.index,导致List操作延迟剧增。
1.2 进阶隔离方案设计
我们设计的方案结合了 Ceph Quincy新增的RGW S3 Object Expiration调度优化 和 RADOS QoS(mClock),分三层隔离:
层一(网络与连接):使用Nginx限速(
limit_rate)配合RGWclie