非结构化数据在线迁移,如何实现业务无中断?

2021年10月 · XSKY


背景


大数据时代,数据爆发式增长,根据IDC预测,海量数据中超过80%的数据都是非结构化数据。这也就对非结构化数据的存储、管理和使用提出了更高的要求。

早期很多企业在规划非结构化数据存储时,由于数据量比较小,都采用传统NAS来存储。随着业务创新速度加快,数据量成几何级增长,面对海量非结构化数据存储及大数据分析需求,存储容量难以弹性扩展和大规模小文件访问性能不足成为传统NAS存储的突出问题。源于互联网行业的对象存储,扁平化存储结构设计,对象之间相互独立,访问操作简单,对象检索路径短,具有高扩展、易管理、高安全、低成本、高并发等特点,能够很好的满足海量非结构化数据的存储需求,其使用范围正向各行各业快速扩展。

很多使用传统NAS存储的企业已经在规划存储转型,将原有NAS存储系统上的数据和业务迁移至对象存储的需求越来越普遍。企业IT部门在规划业务和数据迁移时,特别关注以下几点:

  1. 迁移过程中业务是否中断?

  2. 迁移效率如何?

  3. 迁移后原有设备是否可以利旧?

针对在线迁移,目前市场上使用较多的是下面两种技术方案:

增量数据复制,将数据拷贝一份到新建存储。数据拷贝过程中业务还在正常运行,会不断有增量数据写入。完成首次数据复制后,需要中断业务,获取增量数据,做一次增量复制后,才能将业务切割到新存储系统。为了缩短业务中断时间,往往需要做多次增量复制,直到增量数据较少时才中断业务,快速完成最后一次增量复制。采用这种迁移方式,如果前端业务量比较大,则迁移周期会非常久,遇到原有存储系统容量不足、一时无法扩容,将难以达成业务在线迁移目标。

增量元数据重建,扫描数据的元数据,并导入到新存储集群,建立对象与旧存储系统的数据映射关系后,再异步迁移数据。元数据重建过程中业务还在正常运行,会不断有增量元数据产生。完成首次元数据重建后,需要中断业务,获取增量元数据,做一次增量重建后,才能将业务切割到新存储系统。为了缩短业务中断时间,往往需要做多次增量重建,直到增量元数据较少时才中断业务,快速完成最后一次元数据增量重建。这种方案在完成元数据重建后就可迁移业务到新存储系统,元数据量比较小,迁移周期比前一种更短。

以上两种在线迁移方案都需要中断业务,只是业务中断时间窗口有长有短,本质上都不能保证核心业务的无中断迁移。


XSKY业务无中断迁移方案


基于XSKY对象镜像回源技术的迁移方案,可以真正实现业务无感知、零中断的无缝平滑在线迁移。

1.jpg

首先,在新对象存储集群上配置镜像回源,选择原有存储平台(NAS存储、S3私有云、公有云等)作为回源的源站存储。

然后,将业务访问存储的入口切换至新对象存储集群。业务新数据写入新对象存储集群,原有存储上不再有增量数据写入。当业务从新对象存储集群中请求读取旧数据时,因数据在本地存储中不存在,此时触发回源,对象存储系统根据前面配置的回源信息,从源站存储读取所需数据后即时返回给应用,并在后台启动镜像任务,从源站存储上复制一份完整数据到本地存储,完成该文件的数据迁移。切换后,业务以新存储集群为统一访问入口,新老数据都能访问,完成业务从原有存储到新建存储的平滑迁移。

最后,从原有存储中一次性导出文件列表清单,向新建对象存储系统下发镜像回源任务,将原有存储系统中的数据复制新建对象存储系统,完成全部数据迁移。

在原有存储中只有少部分数据有利用价值,同时又无法提前筛选的场景,可以通过镜像回源,借助应用访问来触发数据迁移,避免全量迁移而浪费新集群存储空间。


XSKY业务无中断迁移案例


世界500强企业新华人寿保险,很早就启动规划业务数字化转型,认同分布式软件定义存储发展方向,经过多方选型论证,最终选择和XSKY星辰天合合作,初期部署了30多个节点的统一存储集群(集群A),支撑集团线上APP业务、客户信息系统、门户业务系统、集团OA系统等。随着业务的不断发展,数据量快速增长。特别是对象存储承载的电子保单管理系统、双录系统、电子影像系统,每天都会产生大量非结构化数据,集群容量占用已接近预警线,扩容迫在眉睫。

然而,目前租赁的IDC机房已无足够空间容纳新设备上架,无法直接扩容现有集群。从长远规划考虑,客户最终决定新购一批设备,在自有IDC数据中心部署一套存储集群(集群B),将核心业务及其存储的数据从托管IDC迁移至自有IDC。由于是核心业务,客户要求XSKY星辰天合提供无业务中断的迁移方案。

在与客户的沟通中,回源镜像数据迁移方案很快获得认可,并付诸实施。实施过程也非常简单:

第一步:在集群B上配置到集群A的镜像回源

第二步:在DNS服务器上,将业务访问存储的域名所对应的IP地址从集群A变更为集群B

第三步:业务端DNS缓存老化后,重新请求DNS域名解析时,获得集群B的地址,自动完成业务访问入口的切换

第四步:从集群A获取对象清单,在集群B中下发镜像回源任务,完成数据迁移

整个实施过程,都由IT部门操作完成,业务完全无感知、无中断,保障了客户业务快速切换上线,达到了业务和数据全部在线平滑迁移的目标。

同样的在线迁移方案,还被应用在东方明珠、随行付、天津数据湖等多个项目上。