跳动百科

DeepSeek宣布开源3FS

唐良发   来源:网易

DeepSeek宣布开源3FS

DeepSeek于今日宣布开源其高性能并行文件系统3FS(Fire-Flyer File System)。3FS充分利用现代SSD和RDMA网络带宽,旨在应对人工智能训练和推理任务中的数据访问挑战。

3FS具有多项核心特性,包括分离式架构,实现强一致性,提供基于事务性键值存储的无状态元数据服务,以及支持多样化工作负载。在性能表现上,3FS在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,在25节点集群的GraySort基准测试中达到了3.66 TiB/min的吞吐量,每个客户端节点的KVCache查询峰值吞吐量超过40 GiB/s。

此次开源的3FS,不仅为AI数据处理设定了新的基准,还极大简化了分布式应用程序的开发过程。DeepSeek的这一举措,将有力推动AI领域的技术创新和应用发展。更多关于3FS的详细信息,可访问DeepSeek官方GitHub页面进行了解。