文章目录
- SeaweedFS：33000 Star 的分布式文件系统，小文件读写做到了极致
- 架构设计：简单到只有一种思路
- 性能数据
- 兼容性做得不错
- 云集成和分层存储
- 部署有多简单
- 跟其他方案的对比
- 哪些场景适合用
SeaweedFS：33000 Star 的分布式文件系统，小文件读写做到了极致
SeaweedFS 这个项目在 GitHub 上拿了 3.3 万 Star，是一个用 Go 写的分布式文件系统。它解决的核心问题就两个：存海量小文件，读写要快。
我自己接触过不少分布式存储方案，HDFS、Ceph、MinIO 都用过。大部分系统在处理大文件时没问题，但一旦面对几百万个小文件，性能就垮了。SeaweedFS 的设计思路不一样，它从一开始就盯着小文件场景优化。
架构设计：简单到只有一种思路
SeaweedFS 的架构分两层：Master Server 和 Volume Server。Master 管理卷的分配，Volume Server 负责实际存数据。每个文件的元数据只有 16 字节，比 Linux 的 xfs inode（536 字节）小了几十倍。
这个设计的直接好处是：读文件只需要一次磁盘操作，O(1) 时间复杂度。不需要像其他文件系统那样先查元数据、再定位数据块、最后读取。文件位置信息存在 Volume Server 的内存里，查完直接读盘。
写文件的流程也很清晰：客户端先向 Master 请求一个文件 ID 和目标 Volume Server 地址，然后直接把数据 POST 过去。Master 不参与数据传输，只负责分配，所以不会成为瓶颈。
性能数据
官方给的基准测试数据挺能打。单机 SSD 环境下，写入 100 万个 1KB 文件，每秒能处理 15708 个请求，平均延迟 1 毫秒。读取同样数量的文件，每秒 47019 个请求，平均延迟 0.3 毫秒。
混合负载测试（用 WARP 工具）的结果更说明问题：GET 吞吐 2477 MiB/s，PUT 吞吐 825 MiB/s，集群总吞吐 3302 MiB/s。对一个开源文件系统来说，这个数字相当可观。
兼容性做得不错
SeaweedFS 支持 S3 API，这意味着现有的 S3 客户端和工具可以直接对接，不用改代码。它还支持 WebDAV、FUSE 挂载、Hadoop 文件系统接口。基本上你能想到的接入方式都有了。
Filer 是它的可选组件，加了目录结构和 POSIX 属性支持。Filer 的元数据存储可以选 MySQL、Postgres、Redis、MongoDB、Elasticsearch 等等，十几种后端随便挑。这点比很多文件系统灵活，不用绑定某个特定的存储引擎。
云集成和分层存储
SeaweedFS 支持把温数据自动迁移到云存储（S3、GCS、Azure 都行），热数据留在本地。这样本地集群不用很大，但存储容量可以弹性扩展。官方说按 20/80 的热温比例，20 台本地服务器能撑 100 台的容量，省下 80% 的成本。
它还内置了 Iceberg REST Catalog，可以直接跑 Spark、Trino、DuckDB 这些查询引擎，不需要额外搭 Hive Metastore 或 Glue。对小团队做数据分析来说，少维护一个组件就是少一份负担。
部署有多简单
一行命令就能跑起来。下载二进制文件后：
./weed mini -dir=/dataS3 端口 8333、Master UI 9333、Filer UI 8888 全部自动启动，连 bucket 都帮你建好了。Docker 也是一行 docker run 搞定。对开发者来说，这个上手成本几乎为零。
要扩容也简单，加一台 Volume Server 指向 Master 就行，不需要重新平衡数据。这点比 Ceph 强太多，Ceph 加节点意味着大规模数据迁移，IO 开销很大。
跟其他方案的对比
和 HDFS 比，SeaweedFS 不适合超大文件，但小文件场景完胜。HDFS 的 NameNode 把所有元数据放内存，文件一多就撑不住。SeaweedFS 的 Master 只管卷，元数据压力分散到各个 Volume Server。
和 Ceph 比，SeaweedFS 简单得多。Ceph 的 CRUSH 算法配置复杂，搞错了会丢数据。SeaweedFS 用最朴素的分配策略，写失败了换一个卷就行。
和 MinIO 比，SeaweedFS 在小文件场景有本质优势。MinIO 每个文件都有对应的元数据文件，加上纠删码的分片，IO 放大很严重。而且 MinIO 在 2026 年 4 月已经停止开发了，不建议再用。
哪些场景适合用
做对象存储、图片 CDN、日志收集、AI 训练数据存储这些场景，SeaweedFS 都很合适。特别是需要处理大量小文件的业务，比如用户上传的头像、缩略图、文档附件，它的性能优势很明显。
如果你的场景是存大文件（视频、备份包），HDFS 或者直接用云存储可能更合适。SeaweedFS 的设计重心不在这里。
总的来说，SeaweedFS 是一个设计思路清晰、实现简洁的分布式文件系统。它没有追求大而全，而是在小文件这个细分领域做到了极致。3 万多 Star 不是白拿的，确实解决了实际问题。
洁的分布式文件系统。它没有追求大而全，而是在小文件这个细分领域做到了极致。3 万多 Star 不是白拿的，确实解决了实际问题。