VMAX10K 容灾 SRDF 管理手册

易安信电脑系统（中国）有限公司

2014 年 09 月 23 日
文档信息

项目名称： 文档版本号： 1.0

文档作者： 生成日期：

文档审核者： 审核日期：

文档维护记录

版本号 维护日期 作者/维护人 描述

1.0 2014 年 9 月 23 日 张亮 创建

版权说明

本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，
除另有特别注明，版权均属外汇管理局公司和 EMC 公司所有，受到有关产权及版
权法保护。任何个人、机构未经外汇管理局公司和 EMC 公司的书面授权许可，不
得复制、引用或传播本文件的任何片断，无论通过电子形式或非电子形式。

第 1 页
 目 录
第一章 EMC SRDF 技术介绍 ........................................................................................................ 4

1.1 SRDF/S ........................................................................................................................................ 4

1.2 SRDF/A ........................................................................................................................................ 4

第二章 环境描述 ......................................................................................................................... 6

2.1 整体架构 ............................................................................................................................... 6

2.2 存储信息 ............................................................................................................................... 7

2.3 DG 信息与 RDFG 信息 .................................................................................................................. 7

2.3.1 dg 介绍 ............................................................................................................................. 7

2.3.2 rdfg 介绍 ........................................................................................................................... 7

2.3.3 dg 与 rdfg 列表 ................................................................................................................ 8

第三章 SRDF 操作 ........................................................................................................................ 9

3.1 LUN 状态对应表 ........................................................................................................................ 9

3.2 SRDF 状态查询 .......................................................................................................................... 9

3.2.1 查询同城 SRDF/S 状态 ..................................................................................................... 9

3.2.2 查询异地 SRDF/A 状态 .................................................................................................... 9

3.3 SRDF 分离与恢复流程............................................................................................................. 10

3.3.1 停止 SRDF/A 一致性保护命令....................................................................................... 12

3.3.2 分离命令 ........................................................................................................................ 12

3.3.3 更改为自适应拷贝模式命令 ........................................................................................ 12

3.3.4 恢复增量拷贝命令 ........................................................................................................ 13

3.3.5 更改为 SRDF/A 或 SRDF/S 模式命令 ............................................................................. 13

3.3.6 启用 SRDF/A 一致性保护命令....................................................................................... 13

3.4 分离与恢复操作示例脚本 ................................................................................................. 14

3.4.1 货物贸易同城 SRDF/S 分离与恢复 ............................................................................... 14

3.4.2 货物贸易异地 SRDF/A 分离与恢复............................................................................... 14

3.5 现有业务扩盘加入容灾 ..................................................................................................... 15

3.5.1 扩容盘加入容灾流程 .................................................................................................... 15

第 2 页
 3.5.2 扩容盘加入容灾示例脚本 ............................................................................................ 15

3.5.2.1 创建临时 pair ............................................................................................................................. 16

3.5.2.2 临时 pair 完成同步 .................................................................................................................... 16

3.5.2.3 SRDF/S move pair ......................................................................................................................... 17

3.5.2.4 SRDF/A move pair ......................................................................................................................... 17

3.5.2.5 将扩容盘加入 dg ........................................................................................................................ 17

3.5.2.6 检查 ............................................................................................................................................ 17

第四章 故障与维护 ................................................................................................................... 18

4.1 SRDF 链路中断 ........................................................................................................................ 18

4.2 生产中心灾难切换 ............................................................................................................. 18

4.3 生产中心恢复回切 ............................................................................................................. 19

第 3 页
第一章 EMC SRDF 技术介绍

SRDF(Symmetrix Remote Data Facility)运用 EMC Symmetrix 数据存储系

统实现灾难恢复和业务连续性。
SRDF 提供了从一个到一个、一个到多个物理上分离的 Symmetrix 系统的
数据复制技术，尤其在多点容灾技术方面， SRDF 远程数据复制技术在中间站
点容量需求、扩展性等方面有一定优势。
在外汇管理局的环境中，涉及 SRDF 技术的三个主要的类型：

1.1 SRDF/S

同步方式的 SRDF，是将本地生产数据以完全同步的方式复制到异地，每一
个本地的 I/O 处理均需等待远程复制的完成，从而实现主/备中心磁盘阵列同步
地进行数据更新。

1.2 SRDF/A

异步方式的 SRDF，是将本地生产数据以后台处理的方式复制到异地的方
式，每一个本地的 I/O 处理后，无需等待远程复制的完成就正常释放，也就是
在应用系统的 I/O 写入主磁盘阵列后，主磁盘阵列立即返回给主机应用系统“写
完成”信息，主机应用可以继续进行读、写 I/O 的操作。

第 4 页
第 5 页
第二章 环境描述

2.1 整体架构

外汇管理局目前的 EMC 存储系统，由 3 台 EMC Symmetrix 高端存储组成。

构成“并发型 SRDF”容灾结构，即 concurrent SRDF.

后续文档中，采用“型号-序列号末 3 位”的方式标示存储。

北京机房为生产中心，有 1 台 VMAX10K-213 和 1 台 DMX3-223；

上海机房为异地灾备中心，有一台 VMAX10K-214。

北京机房的 VMAX10K-213 和 DMX3-223 之间采用 EMC SRDF/S 技术实现背靠背

同城数据保护;
北京机房的 VMAX10K-213 和上海机房的 VMAX10K-214 之间采用 EMC SRDF/A
技术实现异地数据保护;
逻辑拓扑如下：

第 6 页
2.2 存储信息

北京 上海

存储名称 DMX3-223 VMAX10K_213 VMAX10K_214

存储序列号 CK290300223 CN498700213 CN498700214
SRDF 属性 R2 R1 R2
控制主机 100.1.193.98 100.8.192.96

以上设备在使用中有任何问题，请联系 EMC24 小时支持热线：

固话拨打：800-819-0009
手机拨打：400-670-0009
请提供故障设备的序列号，并记录 case 号码。

2.3 dg 信息与 rdfg 信息

2.3.1 dg 介绍

SRDF 技术基于 LUN 级别进行复制，同一个业务的 LUN 可建立 Device

Group，即 dg，通过该业务的 SRDF group (rdfg)形成配对关系，进行统一管理
操作。
dg 信息保存在管理机上，如果主机重装操作系统，需要先将 dg 信息导出备
份，之后重新安装 SE 软件并且导入 dg 信息。

2.3.2 rdfg 介绍

SRDF/A 要求每一个业务建立独自的 rdfg，相当于复制的逻辑通道。

对于每一个业务来说，从生产存储出发，都有 2 个 rdfg，一个去往同城容灾
的 DMX3-223，另一个去往异地容灾的 VMAX10K-214.
在指定 dg 进行 SRDF 操作时，要通过指定 rdfg 来确定操作的是同城容灾还

第 7 页
是异地容灾。例如，断开 SRDF：
symrdf –g DG_NAME –rdfg 同城 rdfg split (断开同城容灾)

symrdf –g DG_NAME –rdfg 异地 rdfg split (断开异地容灾)

2.3.3 dg 与 rdfg 列表

可以用如下命令查看某一台管理机上的 dg：
/usr/symcli/bin/symdg list

同城 异地
LUN 数量
系统名称 DG rdfg rdfg
货物贸易 29_tradedb_dg 74 10 11
资本项目 32_cfadb_dg 45 13 14
ASONE 46_asonedb_dg 5 16 17
国际收支 47_bizdb_dg 11 19 20
国际收支 48_bopdb_dg 16 22 23
表单系统（银行网和内网） 21_interdb_dg 9 25 26
表单（分局报表） 20_bdfjbbdb_dg 9 28 29
货物贸易（海关前置） 28_chkinportdb_dg 7 31 32
政府网站 35_zfwzdb_dg 14 34 35
stage group 2 8

第 8 页
第三章 SRDF 操作

下面的所有操作，以”货物贸易”即 29_tradedb_dg 来做示例。

3.1 LUN 状态对应表

SRDF pair 状态 R1 lun 状态 R2 lun 状态

Split RW RW
Suspend RW RW
Synchronized RW WD
Consistent RW WD
syncInProg RW WD
partition RW RW
failedover WD RW

RW - 磁盘处于 read/write 状态，主机可以使用

WD - 磁盘处于 write disable 状态，主机不可使用

注意：
在使用 SRDF 操作使 LUN 变成 WD 之前，需要先停止业务，umount 文件系统，
并 varyoff vg。

3.2 SRDF 状态查询

3.2.1 查询同城 SRDF/S 状态

/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 10 query

3.2.2 查询异地 SRDF/A 状态

/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 11 query -rdfa

在正常保护状态下，查看点：
a. RDF pair state
同城 SRDF/S （北京 VMAX10K-北京 DMX3）应为 synctronized
异地 SRDF/A（北京 VMAX10K-上海 VMAX10K）应为 consistent

第 9 页
 b. Invalid track
应为 0.

输出结果示例：

3.3 SRDF 分离与恢复流程

在保护状态下，R1 的 LUN 为 RW 状态，主机可使用；R2 的 LUN 为 WD

状态，主机不可使用。
经过 SRDF 的分离操作，R2 的 LUN 状态变为 RW 状态，主机可以进行读
写操作。
SRDF 中最常用的就是分离和恢复操作，其流程步骤如下：
 同城 SRDF/S 的分离与恢复流程

第 10 页
 分离操作只需要 split 一条命令即成功。
在需要恢复时，如果分离时间较长，数据差异大，建议先修改成自适应
拷贝模式，此时只更改状态，未发起同步。
恢复增量同步后，数据开始增量拷贝，待接近追平时，重新修改为同步
状态。

 异地 SRDF/A 的分离与恢复流程

分离操作只需要 disable（停止一致性保护）和 split 两条命令即。

在需要恢复时，如果分离时间较长，数据差异大，建议先修改成自适应
拷贝模式，此时只更改状态，未发起同步。
恢复增量同步后，数据开始增量拷贝，待接近追平时，重新修改为异步
状态。
最后启用一致性保护。

第 11 页
具体步骤命令如下：

3.3.1 停止 SRDF/A 一致性保护命令

（仅适用异地 SRDF/A 操作，同城 SRDF/S 不需操作此步骤）

/usr/symcli/bin/symrdf –g DG_NAME disable
示例：

3.3.2 分离命令

/usr/symcli/bin/symrdf –g DG_NAME split

示例：

3.3.3 更改为自适应拷贝模式命令

(如果分离时间较长，可更改为自适应拷贝模式，这种模式数据拷贝速度较快，且
不对 R1 的读写时间造成影响)
/usr/symcli/bin/symrdf –g DG_NAME set mode acp_disk

第 12 页
3.3.4 恢复增量拷贝命令

/usr/symcli/bin/symrdf –g DG_NAME establish

3.3.5 更改为 SRDF/A 或 SRDF/S 模式命令

/usr/symcli/bin/symrdf –g DG_NAME set mode async

/usr/symcli/bin/symrdf –g DG_NAME set mode sync

3.3.6 启用 SRDF/A 一致性保护命令

（仅适用异地 SRDF/A 操作，同城 SRDF/S 不需操作此步骤）

/usr/symcli/bin/symrdf –g DG_NAME enable

第 13 页
3.4 分离与恢复操作示例脚本

3.4.1 货物贸易同城 SRDF/S 分离与恢复

分离操作
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 10 split

恢复操-1 修改自适应拷贝模式
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 10 set mode acp_disk
恢复操-2 恢复增量拷贝
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 10 est
恢复操-3 修改同步模式
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 10 set mode sync

3.4.2 货物贸易异地 SRDF/A 分离与恢复

分离操作-1 停止一致性保护
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 11 disable
分离操作-2 分离
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 11 split

恢复操-1 修改自适应拷贝模式
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 11 set mode acp_disk
恢复操-2 恢复增量拷贝

第 14 页
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 11 est
恢复操-3 修改同步模式
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 11 set mode async
恢复操-4 启用一致性保护
/usr/symcli/bin/symrdf –g 29_tradedb_dg –rdfg 11 enable

3.5 现有业务扩盘加入容灾

3.5.1 扩容盘加入容灾流程

现有业务如果扩盘，需要加入容灾，在完成两端主机认盘后，首先要在 stage
rdfg 中创建扩容盘的临时 SRDF pair，完成北京到上海的数据拷贝（由于生产存
储上所有盘都已经预先做了 SRDF 到 DMX3，所以不需要重新做生产 VMAX 到
DMX3 的临时 pair 同步）；
然后把同城和异地的 SRDF pair 分别从 stage rdfg 移动到表格的规划 rdfg
中，movepair 的操作需要在 split 状态下完成；
最后将生产的扩容盘加入 dg，实现统一检查和管理。
流程图如下：

3.5.2 扩容盘加入容灾示例脚本

第 15 页
模拟场景：”货物贸易”扩容 2 个 LUN，示例列表如下：
生产 LUN ID 同城 LUN ID 异地 LUN ID
AA1 BB1 CC1
AA2 BB2 CC2

对于生产扩容的 LUN，对应的异地 LUN ID 与生产的一样；对应的同城 LUN ID

可以查询之前总结的盘号 excel 文件。

3.5.2.1 创建临时 pair

在控制路径下 vi 两个 pair 文件：

s_tmp.pair 用于 SRDF/S 的操作，其中第一列是生产 LUN，第二列是同
城 LUN；
aaa_tmp.pair 用于 SRDF/A 的操作，其中第一列是生产 LUN，第二列是
异地 LUN。

vi s_tmp.pair
AA1 BB1
AA2 BB2

vi aaa_tmp.pair
AA1 CC1
AA2 CC2

3.5.2.2 临时 pair 完成同步

在本步骤中，先要将异地 R2 的目标 LUN 置成 write disable，然后用上一

步的 pair 文件建立起同步对，并发起数据拷贝直到拷贝完成。
symdev –sid 214 write_disable CC1
symdev –sid 214 write_disable CC2

/usr/symcli/bin/symrdf createpair -sid 213 -file aaa_tmp.pair -rdfg 8 -type rdf1 -

invalidate r2 -rdf_mode acp_disk
(此命令为 2 行)

/usr/symcli/bin/symrdf -sid 213 -file aaa_tmp.pair -rdfg 8 est

/usr/symcli/bin/symrdf -sid 213 -file aaa_tmp.pair -rdfg 8 set mode async

第 16 页
3.5.2.3 SRDF/S move pair

此操作需要在把扩容 lun 和原有 lun 的 pair 都置成 split

/usr/symcli/bin/symrdf -sid 213 -file s_tmp.pair -rdfg 2 split
/usr/symcli/bin/symrdf -g 29_tradedb_dg -rdfg 10 split

/usr/symcli/bin/symrdf -sid 213 -file s_tmp.pair -rdfg 2 movepair -new_rdfg 10

3.5.2.4 SRDF/A move pair

/usr/symcli/bin/symrdf -sid 213 -file aaa_tmp.pair -rdfg 8 split

/usr/symcli/bin/symrdf -g 29_tradedb_dg -rdfg 11 split

/usr/symcli/bin/symrdf -sid 213 -file s_tmp.pair -rdfg 8 movepair -new_rdfg 11

3.5.2.5 将扩容盘加入 dg

由于在 movepair 的操作需要在 split 状态下做，在 movepair 做完且加入

dg 后，可以使用 dg 一起将扩容后的合集拉起同步
symdg –g 29_tradedb_dg –sid 213 add dev AA1
symdg –g 29_tradedb_dg –sid 213 add dev AA2

symrdf –g 29_tradedb_dg –rdfg 10 est

symrdf –g 29_tradedb_dg –rdfg 11 est

3.5.2.6 检查

symrdf –g 29_tradedb_dg –rdfg 10 que

symrdf –g 29_tradedb_dg –rdfg 11 que -rdfa

第 17 页
第四章 故障与维护

4.1 SRDF 链路中断

SRDF 状态可能由于链路故障，SRDF pair states 变为 suspend 或 partition。

在排查链路故障后，进行相应的手工恢复，步骤如下：
 设置自适应拷贝模式
该模式可提高数据复制速度，且不对生产读写产生压力。
/usr/symcli/bin/symrdf –g DG_NAME set mode acp_disk
 恢复数据同步
/usr/symcli/bin/symrdf –g DG_NAME establish
 设置同步或异步模式
/usr/symcli/bin/symrdf –g DG_NAME set mode sync/async

4.2 生产中心灾难切换

由于 SRDF 切换动作会改变 lun 读写权限，所以计划内演练需按照如下步骤进

行：
 生产业务停止
 生产数据库停止
 生产端主机卸载文件系统
 生产端主机去激活 vg
 SRDF failover 操作
/usr/symcli/bin/symrdf –g DG_NAME –rdfg 同城 rdfg failover
 容灾端主机激活 vg
 容灾端主机挂载文件系统
 容灾端主机启动数据库
 容灾端主机恢复业务运行

第 18 页
4.3 生产中心恢复回切

待生产端故障恢复，下达回切指令后，应按照如下步骤进行回切：
 容灾端主机业务停止
 容灾端主机数据库停止
 容灾端主机卸载文件系统
 容灾端主机去激活 vg
 SRDF failback 操作
/usr/symcli/bin/symrdf –g DG_NAME –rdfg 同城 rdfg failback
 生产端主机激活 vg
 生产端主机挂载文件系统
 生产端主机启动数据库
 生产端主机恢复业务运行

第 19 页