(原标题:DeepSeek宣布开源3FS 为用于所有DeepSeek数据访问的助推器)
智通财经APP获悉,2月28日,DeepSeek开源周第五天,DeepSeek在官方X账号宣布开源3FS,它是所有Deepseek数据访问的助推器。DeepSeek称,Fire-Flyer 文件系统 (3FS)是一种利用现代SSD和RDMA网络的全部带宽的并行文件系统。
其特点有:180节点集群中的聚合读取吞吐量为6.6TiB/s;25节点集群中 GraySort 基准测试的吞吐量为3.66TiB/分钟;每个客户端节点的 KVCache 查找峰值吞吐量超过40GiB/s;具有强一致性语义的分解架构。在V3/R1中进行训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索和KVCache查找以进行推理。