DeepSeek宣布开源3FS
DeepSeek于今日宣布开源其高性能并行文件系统3FS(Fire-Flyer File System)。3FS充分利用现代SSD和RDMA网络带宽,旨在应对人工智能训练和推理任务中的数据访问挑战。
3FS具有多项核心特性,包括分离式架构,实现强一致性,提供基于事务性键值存储的无状态元数据服务,以及支持多样化工作负载。在性能表现上,3FS在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,在25节点集群的GraySort基准测试中达到了3.66 TiB/min的吞吐量,每个客户端节点的KVCache查询峰值吞吐量超过40 GiB/s。
此次开源的3FS,不仅为AI数据处理设定了新的基准,还极大简化了分布式应用程序的开发过程。DeepSeek的这一举措,将有力推动AI领域的技术创新和应用发展。更多关于3FS的详细信息,可访问DeepSeek官方GitHub页面进行了解。
免责声明:免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!