卡卷网
当前位置:卡卷网 / 每日看点 / 正文

DeepSeek 开源周 Day5 发布的 3FS 有什么技术亮点和带来什么变化?

作者:卡卷网发布时间:2025-03-03 21:49浏览数量:48次评论数量:0次

真没想到,最后一天deepseek对存储下手啊!

不过,终于结束了,5天的infra盛宴拉下了帷幕。

DeepSeek 开源周第一天开源的项目 FlashMLA,有哪些亮点值得关注?

DeepSeek 开源周第二天开源项目 DeepEP,有哪些亮点值得关注?

DeepSeek 开源周第三天推出 DeepGEMM,有哪些亮点值得关注?应用前景如何?

DeepSeek 开源周第四天开源 DualPipe 和 EPLB 等代码库,有哪些技术亮点?

这个我是真用不上,不过做纯基础LLM的应该有大用,毕竟现在动则十几T Tokens,这个数据文件传输真的太重要啦!

不过说回来,各大厂应该有这种存储系统吧!不过大模型训练的人真不一定会用,毕竟部门啥的协调都有问题,很多大模型算法对这些也不精通!DeepSeek强大就强大在,算法、infra一体。

GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.


3FS,Fire-Flyer File System,是一种高性能分布式文件系统,利用现代SSD 和 RDMA 网络带全宽的并行文件系统,解决AI训练和推理存储问题。

峰值吞吐量:180个存储节点,每个存储节点配备2×200Gbps InfiniBand网卡和十六个14TiB NVMe SSD。测试使用大约500多个客户端节点,每个客户端节点配置了1x200Gbps InfiniBand网卡,最终的聚合读取吞吐量达到了约6.6 TiB/s。

DeepSeek 开源周 Day5 发布的 3FS 有什么技术亮点和带来什么变化?  第1张

排序性能:25个测试存储节点,对110.5 TiB的数据进行排序,分布在8192个分区中,耗时30分钟14秒完成,平均吞吐量为3.66 TiB/min。

DeepSeek 开源周 Day5 发布的 3FS 有什么技术亮点和带来什么变化?  第2张

KVCache:KVCache的峰值吞吐量达到了40 GiB/s。

DeepSeek 开源周 Day5 发布的 3FS 有什么技术亮点和带来什么变化?  第3张

这五天的技术,我基本上都用不上,主要是我菜,但DeepSeek是真开源!

我现在就等一手开源框架更新了,等一手现成的。

DeepSeek把技术喂到个大厂、个大佬的嘴边,我再等大佬们继续开源喂到我嘴边。

最后补充一下,vllm已经集成了第一天的flashmla。

DeepSeek 开源周 Day5 发布的 3FS 有什么技术亮点和带来什么变化?  第4张

END

免责声明:本文由卡卷网编辑并发布,但不代表本站的观点和立场,只提供分享给大家。

卡卷网

卡卷网 主页 联系他吧

请记住:卡卷网 Www.Kajuan.Net

欢迎 发表评论:

请填写验证码