V 2 存储安装配置

北京时代朝阳数据库技术中心 Trail 实验室 www.zhaoyang-db.
com
时代朝阳会员专区：Oracle RAC 集群
存储安装配置
达成的目标/方案
1 配置用于 Oracle RAC 安装的网络存储
2 版本 1.0.0
详细操作过程描述
在节点 1 和 2：检查网络存储服务器与节点的连通性
1
时代朝阳会员专区：Oracle RAC 集群第 1 页
www.zhaoyang-db.com/huiyuan
北京时代朝阳数据库技术中心 Trail 实验室 www.zhaoyang-db.com
在节点 1：使用 Openfiler 配置 iSCSI 卷
连接到网络存储服务器
1 使用 Linux 操作系统中 Firefox Web Browser 工具连接到 Openfiler Storage Control Center:
输入地址：https://192.168.3.151:446/
单击“iSCSI target”服务名称下面的“Enable”，使“iSCSI target”状态应更改为“Enabled：
配置网络存储服务器访问限制
1 [General] ->[Local Networks]
将集群中的两个 RAC 节点的网络 IP 地址输入：
使用 openfiler 进行物理存储设置
1
对物理磁盘进行分区：
在物理磁盘/dev/hdb 上创建主分区，指定的值为：
分区类型：Linux Physical Volume

开始柱面：1
结束柱面： 67544
卷分组管理：
[Volumes] -〉 [Volume Group Mgmt.]，卷组名为 oraclevg ，将分区/dev/hdb1 添加到卷组
oraclevg 中：
2 创建逻辑卷
[Volumes] -〉 [Create New Volume] ，创建五个逻辑卷：
Crs Oracle 集群件 2,048M iSCSI

asm1 Oracle ASM 卷 1 6000M iSCSI
3 授予节点 1 和 2 以上创建的逻辑卷的访问权限：
[Volumes] / [List of Existing Volumes]，对于每个逻辑卷，单击“Edit”链接：
将两个主机由“Deny”更改为“Allow”，然后单击“Update”按钮：
4 使 iSCSI 目标可供客户端使用
重新启动 iSCSI 目标服务：
现在 iscsi target 为可用状态，点击“Disable”，使其状态为不可用：
点击“Enabled” ，使状态为 Enabled：
在 Oracle RAC 节点上配置 iSCSI 卷
在节点 1 和 2：启动 iSCSI 服务
1
确定是否已安装了该程序包：
rpm -qa | grep iscsi
2 在 /etc/iscsi.conf 文件中指定网络存储服务器（iSCSI 服务器）的 IP 地址：
DiscoveryAddress=192.168.3.151
3 启动（或重新启动）iscsi 启动器服务：
[root@linrac1 oracle]# service iscsi restart
4 使 iSCSI 服务配置在计算机重新引导后保持活动状态：
[root@linrac1 ~]#chkconfig --level 345 iscsi on
在节点 1：发现 iscsi 目标

1 查看/var/log/messages 文件：
Mar 7 08:39:34 linrac1 iscsid[2959]: version 4:0.1.11-3 variant (02-May-2006)

Mar 7 08:39:34 linrac1 iscsi: iscsid \u542f\u52a8 succeeded
Mar 7 08:39:34 linrac1 iscsid[2963]: Connected to Discovery Address 192.168.3.151
Mar 7 08:39:34 linrac1 kernel: iscsi-sfnet:host2: Session established
Mar 7 08:39:34 linrac1 kernel: scsi2 : SFNet iSCSI driver
Mar 7 08:39:34 linrac1 kernel: Vendor: Openfile Model: Virtual disk Rev: 0
Mar 7 08:39:34 linrac1 kernel: Type: Direct-Access ANSI SCSI
revision: 04
Mar 7 08:39:34 linrac1 kernel: SCSI device sda: 12320768 512-byte hdwr sectors (6308 MB)
Mar 7 08:39:34 linrac1 kernel: SCSI device sda: drive cache: write through
Mar 7 08:39:34 linrac1 kernel: sda:<5> Vendor: Openfile Model: Virtual disk Rev: 0
revision: 04
revision: 04
revision: 04
Mar 7 08:39:34 linrac1 kernel: unknown partition table
Mar 7 08:39:34 linrac1 kernel: Attached scsi disk sda at scsi2, channel 0, id 0, lun 0
revision: 04
Mar 7 08:39:34 linrac1 kernel: SCSI device sdb: 12320768 512-byte hdwr sectors (6308 MB)
Mar 7 08:39:34 linrac1 kernel: SCSI device sdb: drive cache: write through
Mar 7 08:39:34 linrac1 scsi.agent[3093]: disk at /devices/platform/host2/target2:0:0/2:0:0:0
Mar 7 08:39:34 linrac1 kernel: sdb: unknown partition table
Mar 7 08:39:34 linrac1 kernel: Attached scsi disk sdb at scsi5, channel 0, id 0, lun 0
Mar 7 08:39:34 linrac1 kernel: SCSI device sdc: 4194304 512-byte hdwr sectors (2147 MB)
Mar 7 08:39:34 linrac1 kernel: SCSI device sdc: drive cache: write through
Mar 7 08:39:34 linrac1 kernel: sdc: unknown partition table

Mar 7 08:39:34 linrac1 kernel: Attached scsi disk sdc at scsi6, channel 0, id 0, lun 0
Mar 7 08:39:34 linrac1 kernel: SCSI device sdd: 12320768 512-byte hdwr sectors (6308 MB)
Mar 7 08:39:34 linrac1 kernel: SCSI device sdd: drive cache: write through
Mar 7 08:39:34 linrac1 kernel: sdd: unknown partition table
Mar 7 08:39:34 linrac1 kernel: Attached scsi disk sdd at scsi3, channel 0, id 0, lun 0
Mar 7 08:39:34 linrac1 kernel: SCSI device sde: 12320768 512-byte hdwr sectors (6308 MB)
Mar 7 08:39:34 linrac1 kernel: SCSI device sde: drive cache: write through
Mar 7 08:39:34 linrac1 kernel: sde: unknown partition table
Mar 7 08:39:34 linrac1 kernel: Attached scsi disk sde at scsi4, channel 0, id 0, lun 0
2
[root@linrac1 ~]# dmesg | sort | grep '^Attached scsi disk'
3 在节点 1 上，运行 iscsi-ls 命令，将 iSCSI 目标名称映射到本地 SCSI ID（在下面显示为

HOST ID）：
iSCSI 目标名称主机 / SCSI ID SCSI 设备名称
iqn.2006-01.com.openfiler:rac1.asm4 2 /dev/sda
iqn.2006-01.com.openfiler:rac1.asm3 3 /dev/sdd
iqn.2006-01.com.openfiler:rac1.asm2 4 /dev/sde
iqn.2006-01.com.openfiler:rac1.asm1 5 /dev/sdb
iqn.2006-01.com.openfiler:rac1.crs 6 /dev/sdc
在节点 1：在 iSCSI 卷上创建分区

1 运行 fdisk 命令，为上一部分中标识的每个本地 SCSI 设备创建一个主分区：
/dev/sda
/dev/sdb
/dev/sdc
/dev/sdd
/dev/sde
[root@linrac1 ~]# fdisk /dev/sda

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
Command (m for help): n

Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-1019, default 1): 1
Last cylinder or +size or +sizeM or +sizeK (1-1019, default 1019): 1019
Command (m for help): p
Disk /dev/sda: 6308 MB, 6308233216 bytes

195 heads, 62 sectors/track, 1019 cylinders
Units = cylinders of 12090 * 512 = 6190080 bytes
Device Boot Start End Blocks Id System

/dev/sda1 1 1019 6159824 83 Linux
Command (m for help): w

The partition table has been altered!
Calling ioctl() to re-read partition table.

Syncing disks.
[root@linrac1 ~]#
在节点 1 和 2：将分区的更改情况通知给内核
1
[root@linrac1 ~]# partprobe
2 [root@linrac1 ~]# fdisk –l
两个节点从 Openfiler 发现的 iSCSI 目标名映射和本地 SCSI 设备名有所不同。由于卷按

名称而不是它们的本地 SCSI 设备名称进行安装，因而不会导致任何问题。
在节点 1：格式化 OCFS2 文件系统

1 重新启动 iscsi 服务器，确定“iqn.2006-01.com.openfiler:rac1.crs”映射到本地的 SCSI 设备
名：
2 创建文件系统
[root@linrac1 ~]# mkfs.ocfs2 -b 4K -C 32K -N 4 -L oracrsfiles /dev/sdd1
在节点 1 和 2：挂载 OCFS2 文件系统

1
mount -t ocfs2 -o datavolume,nointr -L "oracrsfiles" /u02/oradata/orcl
2 检查时否挂载：
3 将 OCFS2 配置为在启动时自动挂载
在集群中两个节点上的 /etc/fstab 文件中，输入以下内容：

LABEL=oracrsfiles /u02/oradata/orcl ocfs2 _netdev,datavolume,nointr 00
6 检查 o2cb 的启动设置：
[root@linrac1 ~]# chkconfig --list o2cb
7 检查新 OCFS2 文件系统的权限：
文件系统/u02/oradata/orcl 的权限设置为 0775，所有者设置为“oracle”、组设置为“dba”
[root@linrac1 ~]# ls -ld /u02/oradata/orcl
[root@linrac1 ~]# chown oracle.dba /u02/oradata/orcl

[root@linrac1 ~]# chmod 775 /u02/oradata/orcl
重新引导两个节点，确保加载了集群堆栈服务并安装了新的 OCFS2
文件系统
1
在节点 1 和 2：验证 O2CB 心跳阈值是否设置正确
1 cat /proc/fs/ocfs2_nodemanager/hb_dead_threshold
是前面修改的值。
2
在节点 1：为 Oracle 创建 ASM 磁盘（节点 1）
1 确定重新引导之后是否发现所有四个 ASM 卷的 iSCSI 目标名与 linrac1 上的本地 SCSI

设备名不同：
Mar 7 09:36:00 linrac1 iscsid[2965]: version 4:0.1.11-3 variant (02-May-2006)

Mar 7 09:36:00 linrac1 iscsi: iscsid \u542f\u52a8 succeeded
Mar 7 09:36:00 linrac1 iscsid[2969]: Connected to Discovery Address 192.168.3.151
Mar 7 09:36:00 linrac1 kernel: Type: Direct-Access ANSI
SCSI revision: 04
SCSI revision: 04
Mar 7 09:36:00 linrac1 kernel: sda: sda1

Mar 7 09:36:00 linrac1 kernel: Attached scsi disk sda at scsi2, channel 0, id 0, lun 0
SCSI revision: 04
Mar 7 09:36:00 linrac1 kernel: sdb:<5> Vendor: Openfile Model: Virtual disk Rev:
0
SCSI revision: 04
Mar 7 09:36:00 linrac1 kernel: sdb1
SCSI revision: 04
Mar 7 09:36:00 linrac1 kernel: Attached scsi disk sdb at scsi3, channel 0, id 0, lun 0
Mar 7 09:36:00 linrac1 kernel: sdc: sdc1
Mar 7 09:36:00 linrac1 kernel: Attached scsi disk sdc at scsi4, channel 0, id 0, lun 0
Mar 7 09:36:00 linrac1 kernel: sdd: sdd1
Mar 7 09:36:00 linrac1 kernel: Attached scsi disk sdd at scsi6, channel 0, id 0, lun 0
Mar 7 09:36:00 linrac1 kernel: sde: sde1
Mar 7 09:36:00 linrac1 kernel: Attached scsi disk sde at scsi5, channel 0, id 0, lun 0
2
[root@linrac1 ~]# dmesg | sort | grep '^Attached scsi disk'
3
[root@linrac1 ~]# iscsi-ls
4 iSCSI 目标名称主机 / SCSI ID SCSI 设备名称
iqn.2006-01.com.openfiler:rac1.asm4 2 /dev/sda
iqn.2006-01.com.openfiler:rac1.asm3 3 /dev/sdb
iqn.2006-01.com.openfiler:rac1.asm2 4 /dev/sdc
iqn.2006-01.com.openfiler:rac1.asm1 5 /dev/sde
5
[root@linrac1 ~]# /etc/init.d/oracleasm createdisk VOL1 /dev/sde1
Marking disk "/dev/sde1" as an ASM disk: [ OK ]
[root@linrac1 ~]# /etc/init.d/oracleasm createdisk VOL2 /dev/sdc1
Marking disk "/dev/sdc1" as an ASM disk: [ OK ]
[root@linrac1 ~]# /etc/init.d/oracleasm createdisk VOL3 /dev/sdb1
Marking disk "/dev/sdb1" as an ASM disk: [ OK ]
[root@linrac1 ~]# /etc/init.d/oracleasm createdisk VOL4 /dev/sda1
Marking disk "/dev/sda1" as an ASM disk: [ OK ]
6 在节点 2 上：
[root@linrac2 ~]# /etc/init.d/oracleasm scandisks
7 测试是否成功创建了 ASM 磁盘：
/etc/init.d/oracleasm listdisks

V 2 存储安装配置

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

V 2 存储安装配置

Uploaded by

Copyright:

Available Formats

北京时代朝阳数据库技术中心 Trail 实验室 www.zhaoyang-db.

在节点 1：使用 Openfiler 配置 iSCSI 卷

单击“iSCSI target”服务名称下面的“Enable”，使“iSCSI target”状态应更改为“Enabled：

1 [General] ->[Local Networks]

将集群中的两个 RAC 节点的网络 IP 地址输入：

分区类型：Linux Physical Volume

[Volumes] -〉 [Create New Volume] ，创建五个逻辑卷：

Crs Oracle 集群件 2,048M iSCSI

[Volumes] / [List of Existing Volumes]，对于每个逻辑卷，单击“Edit”链接：

重新启动 iSCSI 目标服务：

现在 iscsi target 为可用状态，点击“Disable”，使其状态为不可用：

点击“Enabled” ，使状态为 Enabled：

在 Oracle RAC 节点上配置 iSCSI 卷

在节点 1 和 2：启动 iSCSI 服务

rpm -qa | grep iscsi

2 在 /etc/iscsi.conf 文件中指定网络存储服务器（iSCSI 服务器）的 IP 地址：

[root@linrac1 oracle]# service iscsi restart

[root@linrac1 ~]#chkconfig --level 345 iscsi on

在节点 1：发现 iscsi 目标

Mar 7 08:39:34 linrac1 iscsid[2959]: version 4:0.1.11-3 variant (02-May-2006)

Mar 7 08:39:34 linrac1 kernel: sdc: unknown partition table

3 在节点 1 上，运行 iscsi-ls 命令，将 iSCSI 目标名称映射到本地 SCSI ID（在下面显示为

iSCSI 目标名称 主机 / SCSI ID SCSI 设备名称

在节点 1：在 iSCSI 卷上创建分区

[root@linrac1 ~]# fdisk /dev/sda

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n

Command (m for help): p

Disk /dev/sda: 6308 MB, 6308233216 bytes

Device Boot Start End Blocks Id System

Command (m for help): w

Calling ioctl() to re-read partition table.

2 [root@linrac1 ~]# fdisk –l

两个节点从 Openfiler 发现的 iSCSI 目标名映射和本地 SCSI 设备名有所不同。由于卷按

在节点 1：格式化 OCFS2 文件系统

[root@linrac1 ~]# mkfs.ocfs2 -b 4K -C 32K -N 4 -L oracrsfiles /dev/sdd1

在节点 1 和 2：挂载 OCFS2 文件系统

在集群中两个节点上的 /etc/fstab 文件中，输入以下内容：

[root@linrac1 ~]# chkconfig --list o2cb

7 检查新 OCFS2 文件系统的权限：

文件系统/u02/oradata/orcl 的权限设置为 0775，所有者设置为“oracle”、组设置为“dba”

[root@linrac1 ~]# ls -ld /u02/oradata/orcl

[root@linrac1 ~]# chown oracle.dba /u02/oradata/orcl

在节点 1 和 2：验证 O2CB 心跳阈值是否设置正确

在节点 1：为 Oracle 创建 ASM 磁盘（节点 1）

1 确定重新引导之后是否发现所有四个 ASM 卷的 iSCSI 目标名与 linrac1 上的本地 SCSI

Mar 7 09:36:00 linrac1 iscsid[2965]: version 4:0.1.11-3 variant (02-May-2006)

Mar 7 09:36:00 linrac1 kernel: sda: sda1

4 iSCSI 目标名称 主机 / SCSI ID SCSI 设备名称

[root@linrac2 ~]# /etc/init.d/oracleasm scandisks

7 测试是否成功创建了 ASM 磁盘：

You might also like

iSCSI 目标名称主机 / SCSI ID SCSI 设备名称

4 iSCSI 目标名称主机 / SCSI ID SCSI 设备名称