2024年10月19日发(作者:裘经义)
安装条件:
硬件:两台DS25服务器,MSA1000阵列(带两控制器),四块光纤通道卡(HBA),四条
光纤通道线,内存通道卡
软件:HP Tru64 5.1B UNIX(带相关补丁)
安装步骤:
1.硬件连接。个人认为这是前期的准备工作,是正确安装MSA1000及集群软件的重要前
提,如果这个工作没做好,会给后面的工作带来相关的问题,使安装难以继续。因此,该步
工作应该仔细,认真。硬件连接具体又可以分以下几小步:
1)将HBA卡分别安装到DS25服务器上,如果机器本身已带有,恭喜你,这步可以省略。
2)内存通道卡跳线,内存通道卡上有很多跳线器,根据现场的情况应该对内存通道卡进行
跳线,具体如何跳,由于现场条件不尽相同,建议参考内存通道卡用户指南。根据经验,如
果这步没做好,再用clu-add-member增加集群节点时会出问题。
3)接线工作。通过光纤通道线和内存通道卡连接线将HBA卡和阵列,两台服务器之间的
内存通道卡正确连接起来。
4)上述工作完成后,可以加电进行下面的操作了。
2.配置MSA1000阵列
找一台PC机,通过阵列随机带的黑色串口线(维护线,一端串口,一端RJ45口),将PC
机和阵列的控制器连接起来。在PC中,通过超级终端和阵列通讯,其中,串口的设置为:
波特率: 19200
数据位: 8
奇偶校验: 无
停止位: 1
流控制: 无
在阵列启动完成后,在超级终端下敲回车键,会看到CLI> 提示符
在该提示符下,可以对磁盘阵列进行配置了。(以做RAID 5为例)
1)首先查看阵列中的硬盘
CLI> show disks
Disk List: (box,bay) (bus,ID) Size Units
Disk101 (1,01) (0,00) 72.8GB none
Disk102 (1,02) (0,01) 72.8GB none
Disk103 (1,03) (0,02) 72.8GB none
Disk104 (1,04) (0,03) 72.8GB none
Disk105 (1,05) (0,04) 72.8GB none
2)对阵列进行分区
一般的分区原则,若是集群中只有两个节点,则分五个盘:
unit 1 Quorum盘,
它是一个可以被两个节点访问的物理硬盘,用来保存集群的信息。这些信息是用来维护集群
的完整性以及使节点保持同步,特别是当节点不能与另一个节点通信的时候。Quorum盘在
某一时刻只能被一个节点所拥有,并用来决定由哪个节点来拥有集群的所有资源。Quorum
必须位于共享的磁盘子系统中,一般都是使用外接的磁盘柜。一般情况下,不建议把应用程
序和数据保存到包含Quorum的硬盘上。
Unit 2 Member 1 Boot Disk
每个成员的启动盘(member boot disk)也划分为三个区, 以下是这三个分区的文件系统, 分
区及 推荐的分区大小:
文件系统(类型) 分区 推荐大小
Member boot disk:root a 500M
(Advfs)(实际占用50M左右)
Member boot disk:swap b 大于等于该成员内存的3倍
Member boot disk: h 50M
CNX cluster status
Unit 3 Member 2 Boot Disk
unit 4 Clusterwide root (/), /usr, and /var Disks (Shared)
不管某一个成员是否启动,已经启动的成员必须能够访问集群范围内的AdvFS文件系统。
因此,集群范围内的AdvFS文件系统必须建立在共享SCSI总线上的硬盘上,集群范围的
root (/), /usr, and /var必须处于不同的分区上
unit 5 Clusterwide data盘(应用盘)
CLI> add unit 1 data="disk101 disk102 disk103 disk104" raid_level=5 spare="disk105" str
ipe_size=64 size=100MB
First volume to be configured on these drives.
The logical unit size has been adjusted by 6MB for optimal performance.
Logical Unit size = 94 MB
RAID overhead = 30 MB
Total space occupied by new unit = 124 MB
Free space left on this volume: = 277729 MB
Unit 0 is created successfully
Unit 2 unit3,unit4,unit5等类似进行创建即可。创建完后可用show unit命令进行观察
CLI> set unit_id 1 2
Device identifier 1 created.
CLI> set unit_id 2 3
Device identifier 2 created.
CLI> set unit_id 3 4
Device identifier 3 created.
CLI> set unit_id 4 5
Device identifier 4 created.
CLI> set unit_id 5 6
Device identifier 5 created.
CLI> show unit
3)建立HBA卡和控制器之间的连接
CLI> add connection ds25a wwpn=10000000-C94535B4 profile=Tru64
Connection has been added successfully.
Profile Tru64 is set for the new connection
其他的连接类似建立即可。
其中wwpn是在光纤通道卡的16位号码,在服务器的控制台下,通过>>>show dev 可以查
看
connection建立完后,在两台服务器的控制台下分别执行下列命令:
>>>wwidmgr –set adapter –item 9999 –topo fabric
>>>init
>>>wwidmgr –quickset –udid 2
>>>wwidmgr –quickset –udid 3
>>>wwidmgr –quickset –udid 4
>>>wwidmgr –quickset –udid 5
>>>init
然后在CLI>下执行show connections查看连接是否正确建立
CLI>show connections
3.做cluster,按以下步骤:
1)在任一服务器上安装操作系统和TruCluster软件,安装时要选全部的子集,安装操作系
统采用AdvFS文件系统。这台服务器就将成为Cluster 的第一个成员. 操作系统的安装与在
工作站上的安装一样,包括汉字语言、多媒体、C++开发环境等。操作系统安装完成后,要
对系统进行配置。包括网络配置在利用系统提供的配置工具进行网络配置时,不要配静态路
由,选择路由daemon时,选取gated(而不是routed)。TruCluster 软件在操作系统相关
软件2上。
2)运行sysman ntp配置时钟同步。
3)用diskconfig命令对Cluster盘进行配置,
文件系统(类型) 分区 推荐大小
Cluster root (/ ) b 1000M左右
(Advfs)( cluster的根区,主要用来存放操作系统文件,实际占用250M左右)
Cluster /usr g 大于4000M
(Advfs)(各个成员的公用的/USR区,所以一定要大.可以将应用安装在上面,操作系统约占
用1.2G,)
Cluster /var h 大于2000M
(Advfs)(各个成员公用的/VAR区)
4)安装操作系统所带的补丁软件。另:如果HBA卡是手动加入的,如果系统无法识别,
可能需要安装nhd。
以 root 用户登录.
5)在一个终端里运行 clu_create 命令, 开始创建cluster 的第一个成员 member 1。 该命
令会提示你输入一些创建cluster 成员必需的信息。在这些提示中,有些信息是缺省值,比
如对成员的编号(member 1 或 member 2),成员应具有的票数(votes,缺省值为1),
cluster 内部虚拟网络的名称及 IP 地址(均缺省提供)等等。
需要提供的信息主要包括:Cluster 的别名 及IP地址、Cluster 范围的根区盘极其分区情况
( / 、/usr 、/var 所在的磁盘分区,比如为 dsk5b,dsk5g,dsk5h),第一个成员的boot disk
(比如为 dsk3),Quorum disk 所在盘的标识(比如为 dsk2)。
在创建完成后,cluster 软件会自动设置一些控制台变量,比如把 bootdef_dev 设置成第一
个成员的boot disk 所在的盘等. 然后重启系统,系统便从cluster的成员 member 1 上引导
启动。
6)在已创建的成员节点上运行clu_add_member 命令。注意,你不必在新增的成员上安
装 Tru64 UNIX 操作系统。在运行clu_add_member 命令前,确保当前成员已完全配置(网
络接口配置,网络服务配置,TruCluster Server 的 license 已经安装)根据提示完成成员
的增加。
(the end)
2024年10月19日发(作者:裘经义)
安装条件:
硬件:两台DS25服务器,MSA1000阵列(带两控制器),四块光纤通道卡(HBA),四条
光纤通道线,内存通道卡
软件:HP Tru64 5.1B UNIX(带相关补丁)
安装步骤:
1.硬件连接。个人认为这是前期的准备工作,是正确安装MSA1000及集群软件的重要前
提,如果这个工作没做好,会给后面的工作带来相关的问题,使安装难以继续。因此,该步
工作应该仔细,认真。硬件连接具体又可以分以下几小步:
1)将HBA卡分别安装到DS25服务器上,如果机器本身已带有,恭喜你,这步可以省略。
2)内存通道卡跳线,内存通道卡上有很多跳线器,根据现场的情况应该对内存通道卡进行
跳线,具体如何跳,由于现场条件不尽相同,建议参考内存通道卡用户指南。根据经验,如
果这步没做好,再用clu-add-member增加集群节点时会出问题。
3)接线工作。通过光纤通道线和内存通道卡连接线将HBA卡和阵列,两台服务器之间的
内存通道卡正确连接起来。
4)上述工作完成后,可以加电进行下面的操作了。
2.配置MSA1000阵列
找一台PC机,通过阵列随机带的黑色串口线(维护线,一端串口,一端RJ45口),将PC
机和阵列的控制器连接起来。在PC中,通过超级终端和阵列通讯,其中,串口的设置为:
波特率: 19200
数据位: 8
奇偶校验: 无
停止位: 1
流控制: 无
在阵列启动完成后,在超级终端下敲回车键,会看到CLI> 提示符
在该提示符下,可以对磁盘阵列进行配置了。(以做RAID 5为例)
1)首先查看阵列中的硬盘
CLI> show disks
Disk List: (box,bay) (bus,ID) Size Units
Disk101 (1,01) (0,00) 72.8GB none
Disk102 (1,02) (0,01) 72.8GB none
Disk103 (1,03) (0,02) 72.8GB none
Disk104 (1,04) (0,03) 72.8GB none
Disk105 (1,05) (0,04) 72.8GB none
2)对阵列进行分区
一般的分区原则,若是集群中只有两个节点,则分五个盘:
unit 1 Quorum盘,
它是一个可以被两个节点访问的物理硬盘,用来保存集群的信息。这些信息是用来维护集群
的完整性以及使节点保持同步,特别是当节点不能与另一个节点通信的时候。Quorum盘在
某一时刻只能被一个节点所拥有,并用来决定由哪个节点来拥有集群的所有资源。Quorum
必须位于共享的磁盘子系统中,一般都是使用外接的磁盘柜。一般情况下,不建议把应用程
序和数据保存到包含Quorum的硬盘上。
Unit 2 Member 1 Boot Disk
每个成员的启动盘(member boot disk)也划分为三个区, 以下是这三个分区的文件系统, 分
区及 推荐的分区大小:
文件系统(类型) 分区 推荐大小
Member boot disk:root a 500M
(Advfs)(实际占用50M左右)
Member boot disk:swap b 大于等于该成员内存的3倍
Member boot disk: h 50M
CNX cluster status
Unit 3 Member 2 Boot Disk
unit 4 Clusterwide root (/), /usr, and /var Disks (Shared)
不管某一个成员是否启动,已经启动的成员必须能够访问集群范围内的AdvFS文件系统。
因此,集群范围内的AdvFS文件系统必须建立在共享SCSI总线上的硬盘上,集群范围的
root (/), /usr, and /var必须处于不同的分区上
unit 5 Clusterwide data盘(应用盘)
CLI> add unit 1 data="disk101 disk102 disk103 disk104" raid_level=5 spare="disk105" str
ipe_size=64 size=100MB
First volume to be configured on these drives.
The logical unit size has been adjusted by 6MB for optimal performance.
Logical Unit size = 94 MB
RAID overhead = 30 MB
Total space occupied by new unit = 124 MB
Free space left on this volume: = 277729 MB
Unit 0 is created successfully
Unit 2 unit3,unit4,unit5等类似进行创建即可。创建完后可用show unit命令进行观察
CLI> set unit_id 1 2
Device identifier 1 created.
CLI> set unit_id 2 3
Device identifier 2 created.
CLI> set unit_id 3 4
Device identifier 3 created.
CLI> set unit_id 4 5
Device identifier 4 created.
CLI> set unit_id 5 6
Device identifier 5 created.
CLI> show unit
3)建立HBA卡和控制器之间的连接
CLI> add connection ds25a wwpn=10000000-C94535B4 profile=Tru64
Connection has been added successfully.
Profile Tru64 is set for the new connection
其他的连接类似建立即可。
其中wwpn是在光纤通道卡的16位号码,在服务器的控制台下,通过>>>show dev 可以查
看
connection建立完后,在两台服务器的控制台下分别执行下列命令:
>>>wwidmgr –set adapter –item 9999 –topo fabric
>>>init
>>>wwidmgr –quickset –udid 2
>>>wwidmgr –quickset –udid 3
>>>wwidmgr –quickset –udid 4
>>>wwidmgr –quickset –udid 5
>>>init
然后在CLI>下执行show connections查看连接是否正确建立
CLI>show connections
3.做cluster,按以下步骤:
1)在任一服务器上安装操作系统和TruCluster软件,安装时要选全部的子集,安装操作系
统采用AdvFS文件系统。这台服务器就将成为Cluster 的第一个成员. 操作系统的安装与在
工作站上的安装一样,包括汉字语言、多媒体、C++开发环境等。操作系统安装完成后,要
对系统进行配置。包括网络配置在利用系统提供的配置工具进行网络配置时,不要配静态路
由,选择路由daemon时,选取gated(而不是routed)。TruCluster 软件在操作系统相关
软件2上。
2)运行sysman ntp配置时钟同步。
3)用diskconfig命令对Cluster盘进行配置,
文件系统(类型) 分区 推荐大小
Cluster root (/ ) b 1000M左右
(Advfs)( cluster的根区,主要用来存放操作系统文件,实际占用250M左右)
Cluster /usr g 大于4000M
(Advfs)(各个成员的公用的/USR区,所以一定要大.可以将应用安装在上面,操作系统约占
用1.2G,)
Cluster /var h 大于2000M
(Advfs)(各个成员公用的/VAR区)
4)安装操作系统所带的补丁软件。另:如果HBA卡是手动加入的,如果系统无法识别,
可能需要安装nhd。
以 root 用户登录.
5)在一个终端里运行 clu_create 命令, 开始创建cluster 的第一个成员 member 1。 该命
令会提示你输入一些创建cluster 成员必需的信息。在这些提示中,有些信息是缺省值,比
如对成员的编号(member 1 或 member 2),成员应具有的票数(votes,缺省值为1),
cluster 内部虚拟网络的名称及 IP 地址(均缺省提供)等等。
需要提供的信息主要包括:Cluster 的别名 及IP地址、Cluster 范围的根区盘极其分区情况
( / 、/usr 、/var 所在的磁盘分区,比如为 dsk5b,dsk5g,dsk5h),第一个成员的boot disk
(比如为 dsk3),Quorum disk 所在盘的标识(比如为 dsk2)。
在创建完成后,cluster 软件会自动设置一些控制台变量,比如把 bootdef_dev 设置成第一
个成员的boot disk 所在的盘等. 然后重启系统,系统便从cluster的成员 member 1 上引导
启动。
6)在已创建的成员节点上运行clu_add_member 命令。注意,你不必在新增的成员上安
装 Tru64 UNIX 操作系统。在运行clu_add_member 命令前,确保当前成员已完全配置(网
络接口配置,网络服务配置,TruCluster Server 的 license 已经安装)根据提示完成成员
的增加。
(the end)