旋武社区

BrewFS，面向 Agent 负载的高性能 Rust 分布式文件系统 | 旋武社区 Rust 开源项目推荐

发表于：2026-09-30
Rust 新闻

摘要

本期为大家介绍用 Rust 开发的开源分布式文件系统 BrewFS，专为 Agent Sandbox 负载设计，支持多 Agent 共享同一份基线，同时拥有各自独立的修改工作区。

随着 Agent 沙箱的大规模落地，传统分布式文件系统在多智能体并行工作场景下逐渐暴露出短板。本期为大家介绍用 Rust 开发的开源分布式文件系统 BrewFS，专为 Agent Sandbox 负载设计，支持多 Agent 共享同一份基线，同时拥有各自独立的修改工作区。

大模型 Agent 沙箱有两大核心诉求：文件读写要高性能；大批量 Agent 实例能够基于同一套项目基线并行工作，环境互相隔离。

BrewFS 正是瞄准该场景打造的开源项目，整体基于 Rust 实现，对接 S3 兼容对象存储，对外提供标准类 POSIX 接口，现有上层应用几乎无需改造即可快速接入使用。

图1

项目核心亮点：Overlay Workspace 智能体工作区 ​

BrewFS 最亮眼的能力便是 Overlay Workspace 叠加工作区。将基础工程封存成为一份只读基线，各个 Agent 直接 Fork 生成专属私有工作区。

创建工作区不会完整复制基线目录与对象数据，仅生成空的可写增量层：

  • Agent 产生的改动全部写入私有层，未修改内容直接复用基线数据，节省存储与创建耗时；
  • 多个 Agent 共用同一基线开展调试、代码修改，彼此文件视图完全隔离，互不干扰；
  • 任务结束可直接丢弃临时变更，也可通过 Seal 封存结果、Snapshot 生成版本快照，基于快照继续 Fork 迭代新工作区。

该能力为可选编译特性，开启workspace‑overlay即可启用，Workspace 只负责文件视图隔离，进程、网络、权限由上层沙箱负责。

对比 JuiceFS Clone：JuiceFS Clone 会复制目录项与元数据；BrewFS Fork 依托封存完成的固定基线，仅保存增量元数据，无需遍历复制完整目录树，同时规避克隆过程源目录变动带来的数据不一致风险。

图2

实测性能表现 ​

在阿里云 ECS 对齐环境下，BrewFS 与 JuiceFS 社区版 1.4.1 开展 11 项基准测试，缓存资源规格完全对齐，统计口径包含后台写回排空的完整任务周期，更贴合 Agent 批量任务真实业务视角：

  • 顺序读吞吐提升 37.3%，随机读吞吐提升 41.6%，大文件读取性能基本持平；
  • 计入后台全部数据上传排空时间，顺序写吞吐提升 73.6%，随机写吞吐提升 65.8%；
  • 后台写回排空效率优势突出：顺序写后台排空仅 4 秒，随机写排空仅 2 秒。

传统 IO 测试往往只统计前台返回速度，忽略后台异步上传耗时。BrewFS 统计整批任务全部数据落库完成的总耗时，更符合 Agent 场景关心 “整套工作何时真正结束” 的诉求。

性能收益来自全链路细致优化：用户态 FUSE 基于自研 asyncfuse 实现，深度打磨 FUSE 请求处理、多级缓存逻辑；混合读写场景可拼接本地未上传修改与基线数据，不必等待整个文件刷写完毕才能读取。

依托 Rust 语言，项目对缓冲区共享、大量并发任务的生命周期做清晰管控，保障系统运行安全稳定。

图3

灵活架构与完备工程保障 ​

BrewFS 将元数据与文件数据解耦部署，元数据后端可自由选择 SQLite / PostgreSQL / Redis / TiKV /etcd；数据存储支持各类 S3 兼容对象存储或本地文件系统。

  • 多级读写加速：Linux 页缓存、内存缓存、SSD 缓存、预读机制、大写入合并协同工作；
  • 严苛测试体系：单元测试、xfstests、pjdfstest、LTP、模糊测试、fio 压测，所有性能变更必须先通过正确性门禁；
  • 上手友好：提供一键单机部署脚本，也支持源码编译本地调试，快速体验完整功能。

最佳适用场景 ​

  1. Agent Sandbox 智能体沙箱：大量 Agent 并行运行，复用统一项目基线，需要高频 Fork、销毁、封存独立工作区；
  2. 使用 S3 兼容对象存储，希望复用 POSIX 文件语义的业务；
  3. 优先关注整套任务整体完成时效的批量作业场景。

项目动态 ​

BrewFS 目前处于活跃迭代开发状态，Overlay Workspace 是首个对外公开的 Agent 专属能力，团队还有两项面向 Agent 负载的自研技术待后续发布。欢迎开发者携带真实业务负载进行实测，尤其是并行 Workspace、真实 Agent 沙箱场景，反馈 issue、提交 PR 参与共建。

🔗项目地址：https://xuanwu.openatom.org/articles/project/brewfs

旋武社区 Rust 开源项目推荐栏目，持续发掘国内优质 Rust 开源项目。BrewFS 已收录至旋武社区项目库。欢迎大家前往社区官网项目页（https://xuanwu.openatom.org/project）查阅更多项目信息，也欢迎向我们投稿推荐有意思的 Rust 项目。