DeepSeek开源第五弹:3FS并行文件系统
DeepSeek在开源周的第五天,正式推出了其高性能并行文件系统——3FS(Fire-Flyer File System)。3FS充分利用现代SSD和RDMA网络带宽,专为AI训练和推理任务设计。
该系统在180节点集群中实现了6.6 TiB/s的总读取吞吐量,25节点集群的GraySort基准测试中吞吐量达3.66 TiB/min。每个客户端节点的KVCache查询峰值吞吐量超过40 GiB/s。3FS采用分离式架构,确保强一致性,全面支持数据预处理、加载、检查点保存/重载、嵌入向量搜索和KVCache查询推理。
此外,3FS通过链式复制与分配查询(CRAQ)技术保证数据一致性,提供标准文件接口,支持多样化工作负载,优化数据加载和检查点功能。其架构设计灵活且可扩展,能够有效解决AI训练和推理过程中的数据瓶颈问题,提升数据访问效率。
DeepSeek通过3FS的开源,为全球AI和计算领域提供了前沿技术支持,展示了中国企业在技术研发上的深厚积累和创新能力。
免责声明:免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!