灾备演练：超六百公里6M带宽异地应用接管成功

英方备份容灾

寺庙门外，只见师叔公“遁甲”在墙体上用手指点出一个小孔，美酒就哗啦啦地流了出来。谁知酒未半酣之时，小徒孙端了饭菜声先而来。佛门之地肆意饮酒已是不敬，吓得遁甲使出独门绝技“缩骨功”遁入地下，成功忽悠了小徒孙。

光阴似苒、物转星移，受先人启发，如今这0与1也练就旷世缩骨神功，并且招式益发神乎其技，千万里之外秒传信息。诸位不信，可看此案。


话说大连某知名大型技术股份有限公司有两个数据中心，一个在大连，一个在济南，相距600多公里，隔海相望。虽然彼此之间通过网络心连心，奈何相距太远，当初为了确保故障发生不对业务连续性产生影响，两者选择分开。如今数据量不断增加，如若有难发生，作为异地数据中心的济南必须快速接管本地数据中心大连的业务功能。

异地容灾接管演示图

两地真真试了好多方法都行不通，直到遇见英方高可用容灾方案。该方案采用基于系统内核字节级数据复制技术，非常适合窄带宽远距离的应用接管，并且对上层应用透明、主机资源占用率低（3%-10%），以及适合异构的主机和存储平台的高可用。真算得上是缩骨神功的上乘武学。


举个例子：以一个300M的文件修改了512字节的场景为例，那么基于文件级、硬件层次数据块和字节级数据复制技术在复制传输的数据量对比上是300MB:64KB:512B（4800:128:1），也就是利用英方字节级数据复制技术能够实现最小数据量的传输（下图点击放大）。

数据复制技术对比

本案有了这个“神技”，确保了在原始数据同步之后，能够实现大连与济南两地数据中心在数据实时同步、数据一致性上具备快速接管应用，系统继续向外提供服务的能力。


下面我们详细讲述此次高可用容灾演练操作的步骤，包括检验备份端数据库的可用性，备份端数据的一致性，高可用接管和回切等。


01、整体实现思路


此次灾备演练，几个关键信息如下：网络带宽只有6M，数据量100G，灾备演练时间预设为1小时，英方高可用切换实现秒级接管。


实现思路上，大连机房生产系统和济南异地灾备系统均安装英方软件，通过i2Availibility高可用软件实现底层实时同步数据，应用层在灾难发生时能够进行自动切换，从而保证数据完整性和应用系统的可用性、连续性。


济南数据中心配置一台CDP服务器，通过i2CDP软件保护生产系统关键数据，如数据库、应用系统、文件等；当数据发生误删除或者逻辑错误时，停止复制链路，异地灾备机可以使用CDP数据持续保护功能进行数据的回滚操作。


02、数据库高可用


英方的方案能够保护ORACLE数据库系统，将ORACLE数据库的一组文件添加到高可用规则中，时时刻刻对这一组文件进行保护，备份端按照源端IO顺序写入磁盘，保证数据的严格一致性，保证备份端数据库的可用性，达到灾难发生时数据的最少量丢失甚至是零丢失。


济南异地灾备中心部署一套灾备数据库系统，通过英方软件构建本地灾备系统和异地灾备系统之间高可用保护。当大连本地生产系统出现故障时，本地灾备系统首先会进行接管应用；如果本地机房出现停电等异常状态，异地灾备系统可以立即接管应用，实现业务连续性。


03、高可用实战演练


由于篇幅有限，本文针对英方i2Availability高可用原理、配置规则和切换机制不做详细介绍，如读者感兴趣，可通过公开官网、400电话详细咨询。另外，由于本案高可用切换接管实战演练涉及用户具体的CRM系统信息，为此下面将通过一个简化的版本进行实战演练，效果不变。主要分以下三个简单明了的步骤（图片可点击放大查看）：


第一步：源端模拟灾难场景


»正常情况下，高可用系统如下图所示，状态显示的是就绪状态，当前角色：工作机为主节点，灾备机为从节点。

灾备演练图1

»从服务进程中查看数据库的状态，为启动状态。

灾备演练图2

»查询主节点数据库中的信息：5条记录。

灾备演练图3

第二步：备份端自动拉起服务


»模拟主节点系统故障，包括数据库服务宕掉、网络故障甚至是主机宕机。容灾系统达到切换条件后，会出现如下状态：主节点变成从节点，从节点进行到主节点的切换工作。

灾备演练图4

»当灾备端数据库拉起，能够正常对外提供服务后，状态显示为主节点，如下图。

灾备演练图5

»灾备端查看数据库状态：已启动。

灾备演练图6

»灾备端查看数据库信息：5条记录。灾备端与源端数据保持一致。

灾备演练图7

第三步：备份端回切源端

»灾备端提供对外服务期间，有数据修改：

灾备演练图8

灾备演练图9

»当源端服务修好以后，需要进行灾备端与源端的回切操作，需要先将灾备端的增量数据同步到源端，然后进行服务切换。


»下图为启动灾备端到源端的复制链路，链路在配置时建议不配置自动启动，都需要手动启动复制链路。

灾备演练图10

»当灾备端和源端数据达到一致时，状态显示就绪。

灾备演练图11

»源端点击切换按钮，进行灾备端和源端的切换。

灾备演练图12

»灾备端变成从节点：

灾备演练图13

»源端变成主节点：

灾备演练图14

»源端查看数据库中数据：与灾备端修改后的数据一致。

灾备演练图15

»这时，源端变成主节点，对外提供服务。开启源端到灾备端的复制链路，实时复制源端变化的增量数据：

灾备演练图16

»重镜像完成，进入实时同步状态：

灾备演练图17

»高可用状态变成就绪，如下图所示。

灾备演练图18

至此，本次高可用容灾实战的演练圆满成功（由于图片过多，如若看不明白，可再看一次）。


6M的带宽，100G的数据，大连到济南超过600公里，在窄带宽数据量变化大的环境下，此次灾备演练实现秒级接管成功，不仅检验了用户灾备系统建设的实战化效果，也是向业界展示了在海量数据增长的前提下，如何利用业界领先的字节级数据复制技术的优势实现灾备需求投资价值的最大化。

​

543296713

受教，谢谢分享~

geofee

感谢楼主分享！

qyhx2015

好东东，谢谢老大分享！

anhwei

楼主威武，谢谢分享

jhyah

受教，谢谢分享~

奔奔最快

这个不错，感谢分享啦

kanejf1

受教，谢谢分享~

核火箭

楼主威武，谢谢分享

hanzztv

这个不错，感谢分享啦