首页 > 资讯 > 国货之光!全球AI存储基准测试MLPerf Storage 3.O结果发布,…..

国货之光!全球AI存储基准测试MLPerf Storage 3.O结果发布,…..

甲子光年 2026-09-03 06:03 1 阅读 查看原文

三节点EC硬件配置覆盖多类训练与Checkpoint负载,兼顾性能与硬件成本效率。


9月1日,MLCommons正式发布MLPerf® Storage Benchmark 3.0(简称MLPerf Storage)基准测试结果。XSKY星辰天合旗下MeshFS首次参赛,在并行文件存储赛道获得九项第一


MLPerf Storage是由MLCommons组织的全球AI存储基准测试,用于验证存储系统对训练数据读取和模型状态读写的支撑能力。3.0版本覆盖Unet3D大文件训练、RetinaNet海量小文件训练,以及Llama3 8B405B Checkpoint读写。三项负载具有不同的I/O形态,可从多个维度衡量存储系统性能。


本届测试共有来自全球的19家厂商、23款产品参评,其中并行文件系统赛道有14家厂商参与,包括Pure StorageWEKA、浪潮存储、Alluxio等国内外厂商,相关结果可为AI存储选型提供参考。


MeshFSXSKY设计的高性能并行文件系统,面向AI大模型训练、推理及高性能大规模数据处理场景。据XSKY公开资料,MeshFS采用其自研的Shared-Everything全闪存架构,利用NVMeRDMA硬件能力,产品指标包括微秒级I/O延迟和TB/s级聚合带宽。




1.九项第一:多项性能与硬件成本效率指标居首


XSKY MeshFS获得的九项第一分布在小文件训练吞吐、Unet3DRetinaNet405B Checkpoint等测试项,涉及每客户端读带宽、训练场景单位性能成本和容量效率等指标。结果显示,MeshFS可支撑多训练客户端并发访问,并在三节点硬件配置下提供较高训练带宽;Checkpoint读写性能也有助于缩短模型状态保存与故障恢复时间。


图:XSKY MeshFS九项第一总览




2.三节点EC配置,覆盖全部参测场景


TrainingCheckpoint,存储端在全部测试中使用同一套三节点硬件配置。


每个存储节点配置双路英特尔®至强®6530P处理器、512GB内存和4200*2 Gb/s ConnectX-7网卡。6530P属于搭载P-core(性能核)的英特尔® 至强®6处理器家族。三节点共使用487.68 TB忆联UH812a TLC SSD;集群采用EC 4+2:1数据保护,可提供223.5 TiB受保护可用容量。


户端共配置9台节点,通过POSIX客户端和RDMA网络访问存储。


图:XSKY MeshFS测试环境




3.三类负载实测:大文件、小文件与Checkpoint


此次XSKY MeshFS参与的三类负载对应不同的I/O压力。Unet3D侧重大文件连续读取,RetinaNet考察海量小文件并发和元数据处理能力,Llama3 405B Checkpoint则要求存储同时承受大模型状态的高强度读写。同一套系统支撑三类负载,可同时检验单一负载性能以及不同I/O路径的处理能力。


  Unet3D·大文件训练读取 双项第一


Unet3DMLPerf Storage中主要考察存储持续满足训练端大文件读取需求的能力。测试结果显示,XSKY MeshFS每客户端带宽为67.73 GiB/s,位列第一;每GiB/s硬件成本为1,053美元,同样位列第一,两项指标均居首位。


  RetinaNet·海量小文件训练 三项第一


海量小文件场景对存储系统的元数据处理与小I/O能力要求较高。RetinaNet包含7540万个、平均约315 KiB的小文件,高并发访问会同时对元数据处理与小I/O通路形成压力。测试模拟675B200训练I/O负载,XSKY MeshFS训练吞吐为96.13 GiB/s,每客户端带宽为10.68 GiB/s,每GiB/s硬件成本为4,163美元,三项指标均位列第一。


图:RetinaNet训练吞吐与效率


  Llama3 405B·Checkpoint读写 双项第一


大模型训练中,Checkpoint直接影响训练连续性与容错能力,既需要定期写入保存状态,也需要在故障恢复时快速读回。Llama3 405B单次检查点文件大小为5292 GB,对存储双向读写能力提出较高要求。结果显示,XSKY MeshFS读取每客户端带宽为47.49 GiB/s,位列第一;每GiB/s硬件成本为1,053美元,同样位列第一;Checkpoint写入时每客户端带宽为13.34 GiB/s,可为大模型检查点保存与恢复提供支持。




4.不同参测方案的硬件成本评估


在高性能存储测试中,不同厂商采用的硬件方案差异较大,仅比较单一性能数值存在一定局限。除性能外,硬件投入与成本效率也是实际选型中的重要考量。


根据2026Q3硬件渠道价格参考进行测算,对参与测试的并行文件系统方案进行了硬件成本量化。其中排除1个双品牌重复提交方案,以及2个存储侧配置无法核实的方案。测算结果如下:


图:各参测方案的硬件投入情况


从图中可以看到,不同参测方案的硬件成本存在较大差异,部分方案的DRAM成本占比较高,可能与将内存用于写缓存的配置有关。基于此测算范围,XSKY MeshFS使用同一套三节点硬件配置完成全部场景测试,并在硬件成本效率指标上处于领先位置。




5.MeshFS,国产AI存储的新名片


在全球AI存储基准测试MLPerf Storage 3.0中拿下九项第一,意味着XSKY MeshFS的价值不只体现在单项性能数字上。以一套三节点配置完成大文件读取、海量小文件并发和大模型Checkpoint读写等多类负载,并兼顾性能与硬件成本效率,展现了国产AI存储在复杂训练场景中的竞争力。随着国内AI基础设施建设加速,XSKY MeshFS正在成为国产高性能并行文件系统中一张值得关注的新名片。


参考资料:

MLPerf Storage Benchmark Suite Resultshttps://mlcommons.org/2026/09/mlperf-storage-v3-0-results/


(封面图来源:AI生成)




END.