产业家
2025-03-05
存储，这个一直被谈论的IT“旧话题”，正在重新站在聚光灯下。
作者|吴铭
出品|产业家
DeepSeek再次成为破圈话题。
这两天，DeepSeek开源3FS并行文件系统的消息，犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据，相当于1秒钟传输完700部4K高清电影。还能自动调资源，国产芯片用了它，跟国际大牌的差距直接缩到15%。
这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据（相当于连续播放250万小时4K视频）时，全球AI实验室突然意识到：决定大模型训练效率的不仅是GPU算力，存储系统正成为影响AI进度的一大瓶颈。
存储，这个一直被谈论的IT“旧话题”，正在重新站在聚光灯下。
一、当AI算力狂飙时
存储正在成为隐形战场
2024年，某头部AI公司曾因存储带宽不足，导致2000张A100显卡的算力利用率长期低于40%，单日经济损失超百万美元。这暴露了AI时代的"木桶效应"——当GPU计算速度进入微秒级时，一次突发的存储抖动就可能导致整个训练任务崩溃，让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。
数据显示，存储优化可直接将175B参数模型的训练周期压缩30%，对应百万美元级的成本被填平。而在推理端，当10%的异常请求遭遇存储延迟波动时，P99响应时间会瞬间突破SLA红线，这正是某自动驾驶公司在线服务突发降级的根本诱因。
从DeepSeek的角度来看，其之所以选择自研3FS的本质，也正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》》报告中提到，在同样的GPU算力规模下，存储性能的高低可能造成模型训练周期3倍的差异。在算力军备竞赛的背后，一场关于存储性能密度的暗战悄然升级，自研存储显得尤为重要。
二、5家头部厂商角逐AI存储
国产能否拔得头筹
相比于传统AI的需求，大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。
为了提升大模型训练速度，需要对大规模数据集进行快速加载，且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算，需要高并发输入/输出（I/O）处理，而训练数据集呈现海量小文件的特点，文件量在几亿到几十亿量级，对应的带宽需求可能每秒要达到上TB，这就要求存储系统具备强大的数据管理能力，业界能达到该能力的仅寥寥几家。
小编搜集了国内外优秀的并行存储产品做了对比，发现除了国外主要做并行文件的几家公司，国内真正并行文件自主研发的产品并不多，带着好奇心我们也看了一下华为存储、京东云云海，行业目前有四家优秀的并行存储产品。
IBM作为老牌存储品牌，其产品从HPC场景成功向AI场景演进，但受制于其在国内市场的萎缩，在产品研发上的投入也有所收缩。在全球AI场景得到广泛应用的DDN，多个读、写带宽等关键性能指标上表现突出，但DDN由于技术封闭性、专有化硬件等原因，导致用户建设成本过高。
国产厂商DeepSeek 3FS虽然是开源的新产品，但相对老牌存储也有不错的表现，在读带宽能力上表现优异。我们还惊喜发现，另一家国产厂商京东云云海，在这个专业领域表现出色，以单节点95GB/s的读带宽、60GB/s的写带宽，进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS，京东云云海在提供高性能的同时适用性更广，可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。
综上来看，随着大模型快速向纵深场景演进，对存储的要求也越来越高，DeepSeek、京东云云海等国产存储，显示出在处理大规模数据集时的优越性能，未来国产存储能否拔得头筹，我们拭目以待。
