由 XSKY星辰天合 发布于2021-06-30
一家速递公司平均每天处理快递数量超过 3000 万件，那么由此产生的海量数据，到底该如何实现有效存储？全国 31 个省市自治区的 7 万多个服务网点，不同地点同步产生的数据又该如何实现存储，高效实现数字化运营？
用 44 台存储节点实现 2.64 PB 裸容量，这是国内数据存储领先企业 XSKY星辰天合给国家 5A 级物流企业圆通速递的解决方案。
日前，针对圆通速递业务发展迅速面临的海量数据存储问题，XSKY 通过分布式块、文件、对象的统一存储方式，以多样化、高性能和高安全稳定的存储服务，助力圆通速递实现存储架构转型，支撑其业务实现全面数字化转型。
现有存储架构三大局限
截至 2020 年 12 月，作为一家集快递物流、科技、航空、金融、商贸等为一体的综合物流服务运营商和供应链集成商，圆通速递全网拥有分公司 4600 多家，服务网点和终端门店 7 万多个，各类转运中心 133 个，员工 45 万余人，快递服务网络覆盖全国 31 个省、自治区和直辖市，县级以上城市已基本实现全覆盖。
与此同时，2020 年全年圆通速递业务完成了达到 126.48 亿件
每天产生着海量的数据，支撑着快递业务高速运转，但现有的存储架构，已无法满足不断快速增长的业务及随之产生的海量数据。制约主要体现在以下三个层面：
扩展性差，无法满足业务需求。
现有 SAN 存储提供 VMware 虚拟化平台，60~70 台宿主机。多达 2000 多台虚拟机，虚拟化平台主要承载着圆通速递前端业务系统、数据库、中间件等应用。由于 SAN 存储的性能、扩展性由 “机头决定”，无法弹性扩容，无法快速响应业务系统对数据存储的需求。
无法满足对海量非结构化数据的有效访问。
现有传统 NAS 承载企业文件共享、MySQL 数据备份等业务，文件、图片、音频数据多达 5000 万量级。并且部分目录文件数量达到几十万甚至上百万，一次 ls 需要花费 5~6min 时间。随着物流信息化发展，未来将有更大量的图片、音频等信息需要存入，预计每天会产生上百万的数据量，整体数据量会达到上亿级别。
安全性低。
现有架构存在单点故障风险，仅靠存储自身 RAID 保障数据安全，安全性较低。并且无法随着业务扩展，无法同时满足多种业务系统对数据存储的要求，无法快速在线扩展性能和容量。
为此，圆通速递与 XSKY星辰天合展开深度合作，致力实现数据存储架构转型。
五大亮点，助力数据存储架构转型
针对上述圆通速递在数据存储架构面临的几大难点，XSKY 星辰天合为其 “量身定做” 了一套新的数据存储方案，助力圆通速递实现架构转型。
具体而言，底层通过分布式存储架构保障性能，且由平台自身提供数据冗余机制，保障数据安全不丢失。此外，在后续业务扩大时，在线增加存储节点即可满足容量扩容、提升存储集群性能的需求，无需停止前端业务，由此保障业务连续性。未来随着业务发展，多种不同的应用系统上线，还可快速响应各种业务对存储数据的要求。
由于非结构化数据的增长最难预测，因此，XSKY 的下一代文件系统 XGFS 成为本次存储架构的首选平台。
XGFS（XSKY Global File System）是 XSKY 提供的新一代分布式文件存储系统：
统一命名空间支持百PB容量
统一命名空间支持百亿文件数
标准文件协议客户端和私有客户端均访问统一命名空间
高级存储功能均可按需在任意目录上设置
元数据集群支持基于统一命名空间的元数据读写操作，支持完整的权限、ACL、Xattr 等文件属性。元数据集群支持强一致性的复制保护机制，支持自动故障切换，增量恢复与全量恢复。元数据服务基于 NVMe/SCM 高速介质，通过高性能 KV 数据库和独有专利的键值设计，实现高性能低延迟的文件元数据访问。元数据服务使用 WAL 日志保护机制，支持针对元数据盘的亚健康检查与隔离。
XGFS 创新的分布式网关集群，支持高可用的 DNS 存储域名解析服务，存储域名可按需绑定不同的负载均衡策略；同时支持配置多个 VIP 组成 VIP 池，支持配置 VIP 网关，并且任意 VIP 支持自动故障切换。网关集群支持丰富的访问协议：SMB/CIFS、 NFS、FTP、POSIX/FUSE、CSI、HDFS，支持多协议同时访问同一文件目录，支持任意层级目录设置共享。支持完善的用户认证体系：本地、AD、LDAP，支持完善的权限管理：RWX、ACL。集群中所有网关均可并发读写统一命名空间，性能随着网关扩展而线性提升。网关支持以 RoCE 高速网络协议访问元数据和数据池。
XSpeed 数据池给 XGFS 中的文件访问带来极致的性能体验，所有文件数据 IO 写到 XSpeed 缓存层即返回。XSpeed 小文件后台合并和数据压缩功能，大幅提升 XGFS 系统可承载的数据总量，轻松突破百 PB 容量和百亿文件数。XSpeed 丰富完善的企业级功能：快照、恢复 QoS、阈值管理，大大降低存储管理员的运维投入。
也正是基于 XGFS 的优势，XSKY 根据圆通速递的需求，首期规划共 44 台存储节点，利旧 X86 服务器，整体约 2.64PB 裸容量，数据冗余安全采用三副本保护策略。
集群规划方面，则分别在生产网部署 30 台存储节点，测试网 14 台存储节点，两个集群提供相同存储服务，块接口用于 VMware 虚拟化平台，提供虚拟机存储访问，分布式文件接口用于数据库备份、图片、音频等非结构数据存储需求。
XSKY 数据存储架构得到了圆通速递的高度认可。在圆通速递看来，XSKY 提供的数据存储架构解决方案，高效支撑了快递业的数字化转型升级，存储架构本身的亮点也十分突出：
成本可控。
采用 Scale-out 架构，可实现在线扩容，按需建设，且在扩容节点数量的同时，不仅提高使用空间，还提升存储集群性能。
软硬解耦
新的存储架构不绑定硬件，兼容多种主流通用服务器，甚至可以利旧老服务器，相比专用存储，成本可控，运维更简便。
高性能
即支持存储百亿级别的文件数量，经过严格的测试，满足单目录 100w 文件 2min 的 list 性能，1 亿小文件 340M/S 吞吐的存储需求。
安全性
由副本、EC、故障域等多种安全机制保障平台数据安全。
业务扩展性
未来随着业务系统扩增，不同业务系统对接存储数据的要求，存储平台可提供分布式块、文件、对象的统一存储方式，提供多样化、高性能和高安全稳定的存储服务。
助力上千家政企机构数字化转型升级
XSKY星辰天合利用自己在分布式软件定义存储方面的创新成果，助力圆通速递加速企业数字化转型，已成物流业加速数字化转型升级的典型案例。
当前，数字化转型给物流行业带来巨大变革，智慧化、数字化智慧物流体系成为发展趋势，无人仓在其中扮演重要角色。智能物流的基础就是数据，而传统的存储架构，无法满足现代物流业对数据的汇、存、管、用的需求，存储架构的转型首当其冲。
作为中国软件定义存储市场 Top5 唯一一家专业的软件厂商，XSKY星辰天合正在利用自身的技术优势和存储解决方案，帮助政务、金融、电信、广电、交通、公用、医疗、教育、物流等行业的上千家大中型政企客户，进行关键生产系统存储云化改造和数字化转型升级。
星辰天合 V5 而来
7 月 15 日 XSKY星辰天合将在北京以 “星辰天合 V5 而来” 为主题，召开新品发布会，用潜心打磨的国产自研产品和技术，重新定义统一存储的概念，为政企机构的数字化业务打造一个全协议统一、全场景统一的数据管理平台。届时，行业的技术大咖、产业精英，以及政企机构负责人将出席现场，共同交流行业热门话题、分享数据技术愿景、探索数字世界的未来。
在线咨询：
9:00-18:00
快速响应您的问题
方案咨询
400-016-6101
售后支持
400-606-0072
官方微信
