由 XSKY星辰天合 发布于2026-03-13
引言:在自动驾驶向 “端到端” 大模型转型的行业浪潮中,数据流转效率已成为衡量研发实力的核心指标。近日,国内某领先智能驾驶解决方案供应商,采用XSKY AIMesh 解决方案,成功打造“多模态、零拷贝、低本”的智驾数据流水线,大幅提升了自动驾驶算法的迭代频率。
AIMesh 是一款面向 AI 的数据存储解决方案,它通过构建统一的 “数据与内存网”,打破了计算与存储、训练与推理、热数据与冷数据之间的物理边界,旨在解决 AI 时代的 “IO 墙、内存墙、重力墙” 挑战,为大模型提供涵盖高性能训练加速、近算推理增强及海量数据治理的全栈式底座。其中,MeshFS 星飞极速文件系统是方案中针对 IO 墙设计、面向 AI 大模型训练的高性能并行文件系统,MeshFusion 星飞推理加速系统是面向 AI 推理的 KVCache L3 级外部存储,MeshSpace 星飞数据湖则可以帮助客户构建 AI 数据底座的 EB 级数据湖。
行业变革:从“规则驱动”到“数据驱动”
作为中国领先的智能驾驶解决方案供应商,正全面向“端到端”神经网络架构转型。这一技术路线的变革,使其数据基础设施面临巨大的“剪刀差”压力:
数据流转的效率瓶颈
端到端模型极度依赖海量真实路测数据。传统架构中,数据采集(上传)、数据标注(处理)、模型训练(读取)往往使用不同的存储协议或孤岛,数据在环节间流转需要反复拷贝,导致研发人员等待数据的时间比训练模型的时间还长。
海量数据的成本陷阱
随着车队规模扩大,每天产生百 TB 级的数据。如果全部使用高性能闪存,成本难以承受;如果使用低成本硬盘,读取速度又无法满足 GPU 集群的高并发训练需求。
数据资产的安全焦虑
智驾核心算法与路测数据是上市企业的核心资产,如何在开放给数百人研发团队高效使用的同时,严防数据泄露与误删,是企业内控的红线。
硬核技术筑底座:打造智驾数据流水线
针对企业的核心痛点与智驾研发全流程的技术需求,XSKY 基于 MeshFS 星飞极速文件系统,从数据流转加速、性能成本平衡、数据安全保护、弹性扩展支撑四大维度,打造定制化的智驾研发数据基础设施解决方案,核心技术设计贴合智驾“采-传-存-算-训-用”全流程的业务特性,实现技术与业务的深度适配:

1、多协议融合 + 零拷贝技术,打通数据闭环流转通道
针对数据跨环节流转效率低的问题,方案依托 MeshFS 系统实现一份数据,多协议原生互通,深度支持 POSIX、NFS、SMB、S3、HDFS 等全协议栈,完美匹配数据采集(HDFS/S3)、数据处理/标注(NFS/SMB)、模型训练(POSIX/NFS)各阶段的访问协议需求,数据无需在不同存储池间迁移或格式转换,从路测数据上传到模型训练数据读取,全程实现 “即存即用”,彻底消除数据拷贝的等待时间,大幅缩短从数据采集到模型版本发布的全周期。
2、全闪 + 混闪分层架构,极致性价比的混合算力支撑
为平衡高性能训练与低成本存储的双重需求,方案创新采用 “全闪性能池 + 混闪容量池” 的冷热数据分层存储架构,并融入端到端 RDMA 无损网络、自研 XPC 高性能客户端等核心技术,实现算力与存储的高效协同:
热数据全闪性能池
端到端 RDMA 技术实现微秒级时延,搭配客户端缓存与 NUMA 亲和性优化,喂饱昂贵的 GPU 算力,在 100Gb 网络环境下,单节点吞吐量可达 40GB/s,满足模型训练、仿真测试的高并发、低时延需求。
冷数据混闪容量池
混闪容量池默认采用 EC 8+2 纠删码策略,有效容量达 80%;叠加无损压缩(生产集群压缩比 1.2:1,节省约 1.9PB 可用容量),实现 100% 可得容量。将海量原始路测冷数据、历史训练数据自动沉降至混闪池,历史数据存储成本降低 30% 以上。
3、精细化安全管控,构建企业级数据资产保护体系
针对上市企业的合规与数据安全需求,方案围绕“预防 - 恢复 - 追溯” 构建全链路数据安全防护体系,筑牢研发环境的 “安全网”:
精细化权限管控
支持按租户、用户、项目维度划分数据权限,集成 AD 域权限管理,实现不同研发团队、不同业务环节的数据资源逻辑隔离,防止核心代码与数据的违规外泄。
数据防误删机制
设置回收站功能,删除的数据自动移入回收站并保留自定义时长,期间可快速恢复,避免因误操作导致珍贵路测数据与标注成果的不可逆丢失。
全流程审计日志
记录所有数据的上传、读取、修改、删除等操作行为,实现操作行为的可追溯,满足企业内控与行业合规审计要求。
高可靠数据容灾
全闪池采用多副本机制,混闪池基于 EC 纠删码实现节点级故障容忍,保障存储集群的高可用性,确保研发业务的连续性。
4、弹性扩展 + 业务无感知,支撑研发规模持续增长
方案充分考虑智驾研发数据量指数级增长的特点,采用分布式架构与整池扩容模式,支持 EB 级存储扩展能力,全程无需数据重平衡,业务无感知中断,完美匹配企业项目拓展带来的存储需求增长;同时,存储集群兼容 K8s 容器化部署,支持模型训练、数据处理服务的自动化调度,适配智驾研发的工程化升级需求。
商业价值:效率与成本的双重突破
通过部署 MeshFS 智驾研发数据流水线,该智驾公司实现了业务的质变:
研发效率质变
彻底消除数据拷贝等待时间,提升了端到端大模型的迭代频率,使其能够更快响应车企客户的定制化需求。
基础设施降本
优化后的数据得盘率在同等物理容量下多存储了 20%+ 的有效数据,直接降低了单位数据的 TCO。
平滑支撑未来
该底座具备 EB 级存储扩展能力,能够支撑未来业务的持续爆发式增长。
此次 XSKY 为头部智驾企业打造的端到端智驾数据闭环方案,精准切中智能驾驶行业向端到端模型转型过程中的核心数据痛点,验证了 AIMesh 在智驾研发场景的适配性与优越性。未来,XSKY 将持续深耕智能汽车领域,凭借在分布式存储领域的技术积累与场景化解决方案能力,为更多智能驾驶企业提供高效、经济、安全的 AI 基础设施支撑,加速智能驾驶技术的研发与商业化落地,推动汽车产业智能化升级。