某大型能源集团全场景验证星飞全闪存储,打造高性能数据库统一底座

由 XSKY星辰天合 发布于2025-04-11


近日,某世界 500 强的大型能源集团完成 XSKY 星飞全闪分布式存储系统在核心数据库场景的全面验证。测试结果表明,星飞存储在 OLTP、OLAP、NoSQL、AI 向量数据库等多样化负载下,性能与稳定性表现优异,成为支撑能源行业数字化转型的标杆实践。

从单点突破到全局验证

该能源集团此前在传统集中式关系型数据库中部署了星飞全闪分布式存储,实现单集群 543 万 IOPS、平均时延≤300μs 的突破性表现。基于此成果,技术团队启动大规模验证,探索其在实时能源交易、资源调度分析、设备状态监测等新型数据库场景的适用性。

“我们需要一个既能承载传统关键业务,又能支撑 AI 等创新应用的高性能存储底座"。该集团基础设施负责人表示,“性能、稳定性和全栈信创能力缺一不可"。

五大数据库场景性能突破:从 OLTP 到 AI 的全栈适配

为验证不同数据库场景下星飞的表现,本次验证采用 3 节点星飞全闪集群,配置如下:

  • CPU:2 颗自主可控芯片,X86 或 ARM 架构,每颗 CPU 内核数≥ 32;

  • 内存:配置 512GB DDR5 内存;

  • 系统盘:配置 2 块 480GB SSD;

  • 数据盘:配置 NVMe PCIe 5.0 SSD 硬盘,裸容量 90 TB;

  • 网卡:2 块双口 100GE DPU 卡。

1、OLTP 数据库:低时延保障业务即时响应

OLTP 数据库主要用于处理大量高并发、短时、高频的事务操作,对时延有着极高的要求。它强调事务的实时性、一致性和高吞吐量,通常涉及大量随机读写操作,而非批量数据处理。在集团的日常运营中,诸如交易结算、资源调度优化等业务场景,都依赖 OLTP 数据库的快速响应。

  • 代表产品:Oracle、SQL Server、达梦、南大通用、人大金仓等

  • 存储性能需求优先级:时延 > IOPS > 带宽 

星飞全闪存储采用 NVMe over RoCE 技术,实现端到端 NVMe,成功将时延控制在 300us 以内。与其他常见协议如 IB、iWARP、FC 相比,RoCE 协议具有独特优势。IB 协议虽然性能出色,但硬件成本高昂且兼容性有限;iWARP 基于 TCP 协议,复杂的流控机制会导致性能问题;FC 协议存在封闭生态、扩容成本高、性能瓶颈等问题 。而 RoCE 协议不仅能实现与 FC - SAN 同等低延迟,还具备开放生态,兼容现有 IP 网络,硬件成本降低 80%,单端口带宽可扩展至 400Gbps 甚至更高,为低时延数据传输提供了坚实保障。

在影响 OLTP 数据库性能的众多因素中,事务提交依赖于 Redo 日志的顺序写入,高存储时延会导致日志写入变慢,延长事务提交时间。星飞全闪分布式存储的低时延特性,有效加快了事务提交速度,提高了系统响应速度。此外,DBWR 写入机制、Undo 及一致性读等操作也因低时延而更加高效,数据库 CPU 核数的利用也更加充分,避免了因存储时延导致的 CPU 资源浪费。

2、OLAP 数据库:高带宽加速数据分析

OLAP 数据库主要用于复杂查询和数据分析,在能源集团进行市场趋势分析、资源调配优化等业务时发挥着重要作用。在这些场景中,高带宽是确保数据快速读取和分析的关键。

  • 代表产品:ClickHouse、Apache Doris、Greenplum 等

  • 存储性能需求优先级:带宽 > IOPS > 时延

星飞全闪分布式存储在 OLAP 数据库场景下表现卓越,带宽可达 23GB/s充分发挥了 100G DPU 卡的极限性能,两个 100G bond4 后,理论最大带宽为 200Gbps=25GB/S,基本跑满网卡性能。

在列存储与批量数据访问方面,高带宽能够加快多个列的并行读取,提升聚合查询的效率。例如,在进行大规模市场数据统计分析时,高带宽可减少数据读取时间,使分析结果更快呈现,为集团决策提供及时支持。

在并行计算与分布式查询、大规模数据扫描以及向量化计算等环节,高带宽同样至关重要。它确保了多个计算节点同时高速访问数据,避免了 I/O 瓶颈,充分发挥了分布式计算能力,使得 CPU 能够高效地执行向量化计算,整体查询速度大幅提升。

3、NoSQL 数据库:超高 IOPS 应对海量并发

NoSQL 数据库适用于高并发、大规模数据存储和处理场景,在能源集团的物联网设备数据采集与处理、实时监控数据存储等业务中应用广泛。这些业务场景对 IOPS 有着极高的要求。

  • 代表产品:MongoDB、Milvus、Cassandra、HBase、DynamoDB 等

  • 存储性能需求优先级:IOPS > 带宽 > 时延

星飞全闪分布式存储在 NoSQL 数据库场景下展现出惊人的性能,单卷可达 310w IOPS。

在高并发读取与写入方面,这一高性能能够支持高频繁的读写操作。以集团的物联网设备数据采集为例,大量设备实时上传数据,星飞存储能够轻松应对,保证数据的快速存取,确保数据的完整性和及时性。

在大规模数据分析和查询以及数据持久化与备份方面,高 IOPS 也发挥了关键作用。它加速了数据的持久化过程,缩短了备份恢复时间,确保数据库在面对突发故障时能够迅速恢复,保障了业务的连续性。

4、分布式数据库(HTAP):综合性能实现平衡发展

HTAP 数据库(Hybrid Transactional/Analytical Processing)需要兼顾事务处理与分析处理,对存储系统的时延、IOPS、带宽都有较高要求,且需实现三者的平衡。在能源集团的供应链管理等业务中,既需要处理大量实时交易事务,又要对供应链数据进行分析优化,HTAP 数据库的性能直接影响业务的流畅性和决策的准确性。

  • 代表产品:OceanBase、TiDB、GaussDB、PolarDB

  • 存储需求优先级:均衡三者

星飞全闪分布式存储凭借其出色的架构设计和性能优化,在时延、IOPS、带宽方面都有出色的表现。在处理实时交易时,低时延确保了交易的快速处理;高 IOPS 满足了大量并发交易的需求;而在进行数据分析时,高带宽又能保证数据的快速读取和处理,为供应链管理提供了有力的支持。

5、AI 矢量数据库:高 QPS 提升 AI 应用效能

在能源集团探索利用 AI 技术进行设备故障预测、能源管理优化等业务中,AI 矢量数据库的性能至关重要。QPS(每秒查询率)是衡量其性能的关键指标之一。

  • 代表产品:Milvus

  • 存储性能需求优先级:IOPS > 时延 > 带宽

星飞全闪分布式存储在 AI 矢量数据库场景下表现优异,QPS 可达 3500+

总结

通过对多种高性能数据库场景的深入研究和实践应用,星飞全闪分布式存储在各个场景下都展现出了卓越的性能,能够充分满足集团在数据存储和处理方面的严苛需求。无论是对时延要求极高的 OLTP 数据库,还是对带宽、IOPS 有特定需求的 OLAP、NoSQL 数据库,以及需要综合性能平衡的分布式数据库(HTAP)和 AI 矢量数据库,星飞全闪分布式存储都交出了一份令人满意的答卷。同时,其采用的ECN、PFC 等技术保障大规模部署稳定性,EC 纠删码、压缩技术及 Appendlog 技术优化硬件成本。



来源:某大型能源集团全场景验证星飞全闪存储,打造高性能数据库统一底座

在线咨询:
9:00-18:00
快速响应您的问题

方案咨询

400-016-6101

售后支持

400-606-0072

官方微信