由 XSKY星辰天合 发布于2024-11-21
在当今数字化时代,数据存储技术的创新正深刻影响着金融行业的发展格局。全闪存储作为一项极具潜力的技术,正逐渐成为市场的主流趋势。据 IDC 2024Q1 数据显示,在中国企业级存储市场中,全闪份额已达 24.6%,近乎四分之一(全球更是已达 50%),其中 SDS 与 HCI 在中国全闪市场分别占据 19.9% 和 7.5% 的份额,且同比增长超过 100%。在这一趋势下,国内某资产规模超 5000 亿且位居 TOP 10 的农商行,积极探索,走在金融科技前沿,以全闪存储为核心,构建高效、灵活、可靠的全闪数据中心。
现状:技术沉淀与挑战并存
该农商行拥有信息系统 259 个、涉及应用 456 个,科技投入逐年递增,科技支撑不断增强,并在金融科技领域已积累了丰富的经验,例如:
1、基于云原生技术体系研发了产业金融科技平台,基于湖仓一体的融合数据湖平台,突破智能风控关键技术;
2、通过逐步构建起线上线下一体化的智能服务体系,该行的电子银行交易替代率达到 99.7%;
3、“01 号数字员工”上线,单个交易的平均办理时长较之前缩短约 10%。
但与此同时,在信创虚拟化 / 云平台架构下,该行的业务数据库和中间件面临着严峻的性能挑战。同时,信创推进要求将原有 400 个节点的 VMware 资源替换为国产化引擎,如何在这一过程中为业务提供高性能云盘,成为关键问题。
构建全闪数据中心的背景:多因素驱动变革
业务发展对性能的迫切需求
随着金融业务的不断拓展和创新,该行的业务量呈现出迅猛增长的态势。非全闪存储已难以满足日益增长的数据处理需求,尤其是在业务高峰期,系统响应速度明显下降,影响客户体验和业务效率。构建全闪数据中心成为提升业务处理能力、保持市场竞争力的必然选择。
节能减排的社会责任
在倡导绿色发展的大背景下,该行积极履行社会责任,致力于节能减排。数据中心作为能耗大户,传统存储设备的高能耗问题亟待解决。全闪存储技术在能耗方面具有显著优势,能够有效降低电力消耗,减少碳排放,助力构建环境友好型金融机构。
信创战略的深入推进
信创产业对于保障国家信息安全、推动自主创新具有重要意义。该行紧跟国家战略步伐,大力推进信息技术应用创新。在存储领域,全闪存储技术为国产化替代提供了可行方案,有助于降低对国外 SSD、FC 等技术的依赖,实现自主可控的信息技术体系。
技术选择的考量:精准决策,突破局限
云平台架构:自主组合,掌控全局
在云平台架构的选择上,银行面临着重要抉择。大型云厂商提供的整体解决方案虽然便捷,但存在诸多弊端。一方面,甲方业务自主性会大大降低,当需要定制功能时,往往得不到有效支持。另一方面,单一厂商难以在所有产品领域都做到卓越,可能无法满足行内多样化的业务需求。此外,云上基础架构软件版本滞后,缺乏灵活性。
经过深入思考,该行最终决定自主组合各个领域的专业厂商。这样的选择能够充分发挥各厂商的技术优势,根据行内实际业务需求进行定制化配置,确保云平台的高效性、灵活性和稳定性,为业务发展提供坚实的技术支撑。
存储架构:分布式全闪,释放潜能
在存储架构方面,集中式存储和分布式存储各有优劣。该行在使用过 VSAN 后,深刻认识到端到端 NVMe 对于发挥全闪存储能力的重要性。通过对端到端 NVMe 生态的全面调研,包括存储、RoCE-SAN 交换机、NVMe-oF 网卡等硬件,以及国产操作系统、虚拟化平台软件和应用软件等,该行发现集中式存储存在明显不足。
1、集中式全闪存储单卷性能较差,通过 NVMe-oF 对接单个 VM 时,带宽仅为 500 - 600MB,IOPS 读仅 8 - 9w,且不支持 vHost;
2、集中式全闪存储虽然容量可以扩展,但性能扩展性由于控制器瓶颈,不太理想;
3、在亚健康治理方面,一旦 RAID 内的盘出现问题,故障定位极为困难,同业中曾出现单盘卡 IO 导致群体慢盘的情况,严重影响业务连续性。
相比之下,分布式全闪存储凭借其高性能、高可靠性和良好的扩展性,成为该行的理想选择。
成本考量:优化配置,提升效益
成本始终是企业决策的重要因素之一。在全闪存储方案中,EC(纠删码)与压缩技术被视为关键要素。经过考察发现,如果不采用 EC 技术,硬件成本将大幅增加,难以承受。同时,虚拟化场景下的压缩技术能够有效提高存储利用率,降低存储成本。通过合理配置,在保证数据可靠性和性能的前提下,实现了成本的优化控制。
本次项目介绍
项目架构
本项目旨在构建信创全闪数据中心,以应对未来的业务挑战:
1、计算层:采用两家信创云平台替代 VMware,通过 vHost 与存储对接,可支持存算分离部署或部署成超融合;
2、存储层:采用 XSKY XEBS-XINFINI 星飞全闪分布式存储,硬件平台基于海光 7360 处理器的服务器,每节点配置 12 x 7.68TB NVMe SSD。内部交换网络采用 25Gb 高速以太网络,采用 NVMe over RoCE 技术保障数据在节点间的快速传输。
技术特点
vHost 对接优势显著
vHost 作为一种加速 VirtIO 设备性能的前沿技术,在本项目中发挥着关键作用。与传统的 iSCSI 相比,其性能提升效果十分突出。通过优化内存管理机制,有效减少了内存复制次数,从而大幅降低了数据传输过程中的延迟。同时,减少了虚拟机(VM)陷入次数,使得虚拟机与存储之间的交互更加高效流畅。这种优化直接转化为更高的每秒输入 / 输出操作数(IOPS)和更低的延时,为业务系统提供了更加敏捷的数据访问能力,确保在高并发的业务场景下,如海量交易处理、实时数据分析等,依然能够保持稳定的性能表现,为银行业务的高效运作奠定了坚实基础。
NVMe over RoCE 卓越性能
NVMe over RoCE 技术是本项目存储架构的核心亮点之一。其具备令人瞩目的带宽能力,最高可达到 400Gb/s,这一特性确保了数据在存储节点间能够以极快的速度传输,极大地缩短了数据读写的等待时间。同时,其低时延的网络性能表现出色,结合 RoCE 智能无损网络技术,成功解决了传统网络中常见的丢包率问题以及路径倒换时间过长的困扰,实现了真正意义上的零丢包。这不仅保证了数据传输的完整性和准确性,还使得数据在存储网络中的传输如同在本地高速总线中一样高效稳定。此外,该技术的应用成功实现了对传统 FC 网络的信创替代,在提升性能的同时,降低了对国外技术的依赖,为构建自主可控的信息技术体系迈出了重要一步。
EC 纠删码与压缩技术创新融合
XSKY 星飞全闪存储在技术创新方面表现卓越,采用了 LogAppend 技术加持的 EC 纠删码技术,在单层 NVMe SSD 介质上实现 EC 能力。本次项目中采用的 EC 4 + 2 冗余模式,在数据可靠性上与传统 3 副本模式等效,可有效抵御任意 2 节点故障,有力保障数据完整性与业务连续性,且其性能表现与 3 副本模式也基本持平。更为重要的是,这种模式下的得盘率从 33% 大幅提升至 66%,显著提高了存储资源的利用率。同时,星飞全闪存储的数据压缩能力在虚拟化场景下表现出色,可达 1.5 - 2.5 的压缩比。这意味着在相同的物理存储空间下,能够存储更多的数据,有效减少了对额外存储设备的采购需求,进一步优化了存储资源的管理和成本控制。
技术收益
性能提升:支撑业务高效运转
XSKY 星飞全闪分布式存储凭借其先进的技术架构,单卷可提供高达 4k 310w IOPS 的卓越性能,且时延稳定在百微秒级。这一强大的性能表现使得其能够轻松应对银行业务中各类数据库应用的高负载需求,无论是大规模的联机事务处理(OLTP),还是复杂的数据仓库查询分析,都能够快速响应,确保业务系统的高效运转。在实际业务场景中,如每日的交易高峰期,系统依然能够保持流畅的操作体验,大大提升了客户满意度,增强了银行在市场竞争中的优势。
可靠性增强:保障业务连续无间断
星飞全闪存储具备出色的可靠性保障机制,保证在任意 2 节点发生故障的情况下的系统可用性,且实现 100ms 内的快速故障切换。这意味着即使面临突发的硬件故障,业务系统也能够迅速调整,确保数据的持续可用性,保证业务连续高可用。这种高可靠性对于银行业务至关重要,有效避免了因数据丢失或业务中断而可能引发的客户信任危机和经济损失,为金融业务的稳定运行提供了坚实的后盾。
成本大幅降低:优化资源投入产出
从成本角度来看,星飞全闪分布式存储带来了显著的经济效益。在硬件采购方面,EC 4 + 2 冗余模式仅需 12 个节点(每个节点 12 x 7.68TB NVMe SSD)即可实现 619 TB 的可用容量(按 85% 的容量预警基线),相比之下,传统 3 副本模式则需要 24 个节点才能达到相同的可用容量。同时,星飞的技术架构有效减少了 SSD 寿命损耗,使得可以采用 DWPD >= 1 的 NVMe SSD,相比于需要更高 DWPD >= 3 的传统方案,磁盘采购成本降低约 20%。总体而言,硬件采购成本降低幅度达到 50% 以上。此外,数据压缩技术的应用进一步减少了存储设备的采购和维护成本,使得银行能够以更低的成本投入获得更高的存储性能和容量,实现了资源投入产出的优化配置,提升了整体的成本效益。
综上所述,该行在全闪数据中心建设中所采用的星飞全闪分布式存储技术,通过其独特的技术特点,实现了性能、可靠性和成本效益的多赢局面,为银行业务的数字化转型提供了强有力的技术支撑,也为金融行业在存储技术应用方面树立了新的标杆。
项目成果与展望
项目实施后,在虚拟化 / 云平台架构下的业务数据库和中间件性能得到了显著提升。业务系统的响应速度大幅加快,交易处理更加高效,客户体验得到极大改善。同时,数据的安全性和可用性得到有效保障,为金融业务的稳定运行提供了坚实支撑。
该行构建全闪数据中心并选择全闪分布式存储的过程,是一次基于对行业趋势敏锐洞察、对自身需求精准把握以及对技术方案全面评估的战略决策。这一决策不仅将推动该行在数字化转型道路上迈出坚实步伐,也为其他金融机构在数据中心建设和存储技术选择方面提供了宝贵的借鉴经验。相信在全闪分布式存储的助力下,该行将在金融科技领域开创更加辉煌的未来。
在线咨询:
9:00-18:00
快速响应您的问题
方案咨询
400-016-6101
售后支持
400-606-0072
官方微信