跳动百科

DeepSeek开源第五弹:3FS并行文件系统

季宝世   来源:网易

DeepSeek开源第五弹:3FS并行文件系统

DeepSeek在开源周的第五天,正式推出了其高性能并行文件系统——3FS(Fire-Flyer File System)。3FS充分利用现代SSD和RDMA网络带宽,专为AI训练和推理任务设计。

该系统在180节点集群中实现了6.6 TiB/s的总读取吞吐量,25节点集群的GraySort基准测试中吞吐量达3.66 TiB/min。每个客户端节点的KVCache查询峰值吞吐量超过40 GiB/s。3FS采用分离式架构,确保强一致性,全面支持数据预处理、加载、检查点保存/重载、嵌入向量搜索和KVCache查询推理。

此外,3FS通过链式复制与分配查询(CRAQ)技术保证数据一致性,提供标准文件接口,支持多样化工作负载,优化数据加载和检查点功能。其架构设计灵活且可扩展,能够有效解决AI训练和推理过程中的数据瓶颈问题,提升数据访问效率。

DeepSeek通过3FS的开源,为全球AI和计算领域提供了前沿技术支持,展示了中国企业在技术研发上的深厚积累和创新能力。