2024年3月4日发(作者：召翠芙)
Lenovo HX系列超融合系统
安装配置手册
1
目 录
1.
使用Foundation安装部署 ................................................................................ 3
1.1
1.2
1.3
文件下载 .................................................................................................................... 3
Foundation虚拟机的准备 ..................................................................................... 6
部署过程 .................................................................................................................... 8
2.
网络交换机配置部分 .......................................................................................... 15
2.1
2.2
2.3
2.4
2.5
2.6
2.7
整个网络拓扑 .......................................................................................................... 15
Lenovo G8124E交换机的主要信息 ................................................................... 16
交换机用户配置 ...................................................................................................... 17
交换机的管理网络配置 .......................................................................................... 18
交换机的端口配置 .................................................................................................. 19
交换机的互联配置（ISL） .................................................................................... 21
交换机上联设置 ...................................................................................................... 24
3.
虚拟化配置选项 .................................................................................................. 27
3.1
3.2
3.3
VMware ESXi的集群配置选项 ............................................................................ 27
AHV虚拟化配置 .................................................................................................... 31
AHV环境的网络配置 ............................................................................................ 45
4.
其它相关问题 ...................................................................................................... 50
2
4.1
4.2
4.3
4.4
Nutanix的license以及区分 ............................................................................... 50
关于Prism Central ............................................................................................... 51
如何进行初步的性能诊断 ...................................................................................... 56
Pro的License注册 .............................................................................................. 58
5.
集群升级 .............................................................................................................. 61
5.1
5.2
集群健康检查 .......................................................................................................... 61
Prism界面更新 ...................................................................................................... 62
6.
引用文档 .............................................................................................................. 68
1. 使用Foundation安装部署
1.1 文件下载
1. Nutanix部分：
Nutanix的安装文件，Foundation虚拟机，AHV，NOS,以及Prism Central，Phoenix等软件。下载链接为：
/（需要拥有Nutnaix的账号才可以。）
3
2. Hypervisor部分：
Nutanix平台目前支持VMware ESXi，AHV以及Hyper-V三种虚拟化平台，其下载的位置如下：
VMware ESXi：
通过VMware的官方网站，下载链接为
/group/vmware/info?slug=datacenter_cloud_infrastructure/vmware_vsphere/6_0
AHV：
通过Nutanix网站下载，下载地址
/#/page/static/hypervisorDetails
4
Hyper-V：
Hyper-V需要使用微软的官方版本，需要使用Windows20** with Hyper-V版本，下载地址在需要到微软官方下载。
3. 联想的IMM/UEFI部分：
在安装时需要确认HX服务器的IMM以及UEFI版本，这些版本的下载地址为：
/us/zh，在查询框中输入HX机型的型号，如8693代表HX3310
然后在页面中选择BIOS，可以下载UEFI，选择IMM可以下载IMM版本。
5
1.2 Foundation虚拟机的准备
1. 文件准备
Foundation是Nutanix的部署工具，用来进行初次快速部署Nutanix的集群。Foundation本身是一个虚拟机，可以通过Nutanix网站下载。下载页面为：（由于CVM里内置Foundation工具，所以一旦CVM集群建立后，将不需要再使用部署时使用的Foundation虚拟机，只需要使用Prism页面进行管理和添加/删除节点即可。）
下载后进行解压（下载后请核对MD5码，确保MD5值一致），解压后的文件列表如下：
2. 虚拟机创建
只需要将其导入到本机的VMware Workstation中即可创建Foundation虚拟机。foundation虚拟机的网络一定是桥接方式。如下图：
6
Foundation虚拟机的默认用户名密码分别如下：
用户名：nutanix
密码：nutanix/4u
Foundation虚拟机启动后，复制相应的ISO到相应的目录
ESXi的ISO放置在目录/home/nutanix/foundation/isos/hypervisor/esx
AHV的升级包放置在目录/home/nutanix/foundation/isos/hypervisor/kvm
AOS升级包放置在目录/home/nutanix/foundation/nos
注意：
1. 如果Foundation使用的是3.5以及更高的版本，则不需要对Foundation虚拟机进行任何修改，可以直接使用。
7
2. 如果Foundation使用的是3.4以前的版本，需要同时下载Lenovo HX的补丁，将HX补丁拷贝到Foundation虚拟机中，然后在Nutanix Foundation虚拟机中执行一下命令来更新HX补丁。
nutanix@cvm$ ~/foundation/bin/foundation_upgrade -t
nutanix@cvm$ service foundation_service start
3. 时间调整
调整foundation时区：请修改为用户当地时区
图形化界面修改：在命令行下执行system-config-date
调整foundation时间
点击桌面上的图标“set_foundation_ip_address”修改IP地址使其能够访问外网
命令：sudo ntpdate -u 跟时间服务器进行同步
命令：date检查当前时区和时间（中国时区为CST）
1.3 部署过程
1. 服务器连线：部署时只需要连接IMM和1跟10Gb的光纤线即可，部署完成后再进行另外一根光纤线的连接，并在Hypervisor层进行调整。
注意：
如果部署前连接了所有的光纤连线，则部署时有可能出错。
2. 查看或者升级IMM/UEFI版本，根据相关的通知酌情升级UEFI和IMM的版本；
8
截至到2017年2月，请确保部署时将UEFI升级到2.22版本。
3. 修改IMM时间；
4. 按照客户网络要求修改IMM的IP地址；
5. 修改IMM的主机名；
6. 修改IMM的用户密码；
7. 查看BIOS时间以及修正；
8. 启动Foundation VM，点击“set_foundation_ip_address”图标修改Foundation VM的IP地址；
9. 打开Nutanix Foundation网页开始部署Nutanix节点；
10. Foundation开始扫描网络中的节点。扫描后会按照序列号列出目前的连接的节点。Foundation扫描是通过IPv6的locallink地址进行的。如果HX节点连接的交换机网络端口是Trunk，建议设置一个native vlan，所有的管理地址都运行再Native vLan中，这样才能更好的网络识别。如果是在一个access端口下，则所有节点的vLAN号必须一致；
9
注意：
如果无法识别到所有的节点，可以手工添加，请按照IMM的MAC地址进行节点添加。添加完成后使用页面右上角的ping进行测试。
11. 输入规划好的Hypervisor IP，CVM IP以及IMM IP地址；
12. 输入其它网络信息，包含子网掩码，网关；
10
13. 选择要部署的CVM的版本以及Hypervisor的类别和版本。这些版本的文件是通过网站提前下载并放在foundation虚拟机的相应目录下的。否则不会显示出来；
14. 在接下来的页面点击“Create Cluster”来创建Nutanix的Cluster；
11
15. 输入cluster的名字，VIP地址，DNS，NTP以及副本数量等信息，VIP地址，DNS，NTP也可以在集群完成后输入，这里不填也可以；
注意：
副本数量：如果节点数量<5，那么即使购买了Pro的License，也无法改为3，只能选择2。如果节点数量>=5,，并且购买了Pro的license，则可以使用3副本。
16. 点击“Run Installation”开始部署。系统会提示，整个操作会进行1小时左右。点击Proceed；
12
17. 开始部署后网页会跳转到进度页面，也可以点击右侧的log进行查看部署的日志。如下：
18. 部署过程中，HX节点会进行重启，安装等一系列动作，这一切都是自动的。
13
注意：
在部署节点出现问题导致部署失败，请查看log。并检查以下方面：
网络连接和配置情况，这是出问题最多的；主要包括：
IPMI的IP和MAC地址是否正确；
IPMI的用户名和密码是否正确
Foundation虚拟机的网络跟HX节点以及IMM的网络是否在同一个广播域（vLAN）；
Foundation虚拟机的磁盘空间：Foundation对于Hyper-V部署需要至少9GB剩余空间，对于AHV和ESXi部署，需要至少3GB剩余空间。
其它文件参见Nutnaix的《Field Installation Guide》中的Troubleshooting章节
19. 部署完成后的界面如下：
20. 此时在浏览器中输入VIP地址，或者任何一个CVM的IP地址即可登录Prism页面，查看整个集群的信息。第一次登录使用的用户名位admin，密码admin，第一次登录会要求修改Prism的密码。
21. 修改CVM的时区设置。使用Foundation部署完成后，CVM的时区是PST，需要修改位CST（China Standard Time），修改方式为，SSH登录到任何一台CVM虚拟机。然后执行data命令查看当前时区，如果是CST，则不需要修改，如果不是，请使用如下命令修改：14
ncli cluster set-timezone timezone=Asia/Chongqing
至此Nutanix的部署工作基本结束。
2. 网络交换机配置部分
2.1 整个网络拓扑
在Lenovo HX超融合的系统部署中，典型的架构网络为：
需要注意以下5点：
1. 千兆交换机和万兆交换机务必都要连接到用户的网络；
15
2. 如果有更多的千兆接口，可以使用HX节点上主板自带的4个千兆网口来提供额外的虚拟机流量（需要另外创建虚拟交换机）。
3. CVM需要和Hypervisor在同一个vLAN之中。但IMM可以不在同一个vLAN中。
4. 由于G8124E交换机出厂默认没有配SFP+模块，所以需要检查用户现场的SFP+的模块数量，主要包含：
a) 服务器的网卡上的SFP+模块数量；
b) 每个服务器网卡对应的交换机上的SFP+模块的数量；
c) 2台G8124E交换机之间互联的模块的数量（每台交换机至少2个）；
d) 每台G8124E交换机上联至用户网络的SFP+模块（每台交换机至少1个）；
e) 光纤线的数量。
5. G8124E交换机可以提供1Gb的端口速率，但需要使用不同型号的模块。
2.2 Lenovo G8124E交换机的主要信息
Lenovo G8124E交换机包含24个10Gb端口，2个管理端口的交换机，24个10Gb端口为SFP+的连接方式。建议支持14个以内的HX节点的连接。15—35个节点建议采用Lenovo
G8272交换机。
G8124E交换机的视图下：
16
交换机默认的用户名和密码为：
用户名：admin
密码：admin
2.3 交换机用户配置
修改默认的管理员密码：
默认出厂设置的Lenovo G8124E交换机内置管理员用户和密码都是admin，但是为了安全起见，一般需要修改默认的管理员密码。修改方式如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)#access user administrator-password
Changing ADMINISTRATOR password; validation required:
Enter current local admin password: ##输入现有的密码##
Enter new admin password (max 64 characters): ##输入新的密码##
Re-enter new admin password: ##再次输入新的密码##
New admin password accepted.
增加新的管理员用户：
默认管理员用户是无法修改用户名的，而且无法删除，只能进行disable或者enable。如果用户需要添加一个新的管理员用户，需要做如下操作：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124E(config)# access user 1 name newusername
##1为添加的第一个用户，newuser那么为新用户的用户名##
RS G8124E(config)# access user 1 password
Changing user1 password; validation required:
Enter current admin password:
##输入现有管理员密码##
Enter new user1 password:
Reenter new user1 password:
New user1 password accepted.
RS G8124E(config)#access user 1 level administrator
##将第一个添加的用户设置为管理员级别##
RS G8124E#show access user uid 1 ##显示第一个用户的用户名进行确认##
RS G8124E(config)# access user 1 enable ##激活添加的用户##
17
RS G8124E(config)#exit
RS G8124E#show access user ##显示当前的所有用户##
2.4 交换机的管理网络配置
交换机出厂时默认有带外和带内管理的IP，但是在用户的实际生产环境中需要根据用户的需要进行修改。
在G8124E中的管理端口对应如下：
序号
1
2
3
端口
带内管理
带外管理A
带外管理B
对应内部端口
IP 1
IP 127
IP 128
对应网关
Gateway 1
Gateway 3
Gateway 4
修改带外管理地址：（以带外管理端口A为例）
配置命令如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface ip 127 ##修改带外管理A口##
RS G8124-E (config-ip-if)# ip address 172.26.16.9 ##配置带外管理A口的IP地址##
RS G8124-E (config-ip-if)# ip netmask 255.255.255.0 ##配置带外管理A口的子网掩码##
RS G8124-E (config-ip-if)# enable ##激活带外管理A口的配置##
RS G8124-E (config-ip-if)# exit
RS G8124-E (config)# ip gateway 3 address 172.26.16.1 ##配置带外管理A口的网关##
RS G8124-E (config)# ip gateway 3 enable ##激活带外管理A口的网关##
修改带内管理地址
配置命令如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface ip 1 ##修改带内管理口##
RS G8124-E (config-ip-if)# ip address 172.26.16.8 ##配置带内管理口的IP地址##
RS G8124-E (config-ip-if)# ip netmask 255.255.255.0 ##配置带内管理口的子网掩码##
RS G8124-E (config-ip-if)# enable ##激活带内管理口的配置##
18
RS G8124-E (config-ip-if)# exit
RS G8124-E (config)# ip gateway 1 address 172.26.16.1 ##配置带内管理口的网关##
RS G8124-E (config)# ip gateway 1 enable ##激活带内管理口的网关##
注意：
默认情况下，带内管理是采用DHCP来获取IP地址，如果没有DHCP，带内管理将采用默认的IP地址。所以如果用户网络里有DHCP服务器，请务必配置带内管理IP。
2.5 交换机的端口配置
配置交换机端口为Access
将交换机的端口配置为Access口时，此端口只能允许一个vLAN通过，如果没有配置vLAN，则只允许Natvie vLAN的数据通过。默认情况下，交换机的每个端口都没有进行配置，只允许Native vLAN通过，也就是默认的vLAN 1。
如果所有的端口都只是通过1个vLAN，则不需要对交换机端口进行配置。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##修改交换机的3号端口##
RS G8124-E (config-if)# switchport access vlan 2
##交换机3号端口配置为access模式，并且只允许2号vLAN通过##
RS G8124-E (config-if)# exit
配置交换机端口为Trunk
将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的服务器或者交换机需要打vLAN的tag才能正常通讯，否则交换机会丢弃数据包。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##修改交换机的3号端口##
RS G8124-E (config-if)# switchport mode trunk ##交换机3号端口配置为Trunk模式##
RS G8124-E (config-if)# switchport trunk allowed vlans 1,2
19
##交换机3号端口的Trunk模式只允许1，2号vLAN数据包通过，如果此条命令不加，则允许所有的vLAN通过##
RS G8124-E (config-if)# exit
配置交换机端口为Tunk+Native vLAN
将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的服务器或者交换机需要打vLAN的tag才能正常通讯，否则交换机会丢弃数据包，如果配置了Natvie vLAN，则不打tag的数据包按照Natvie Vlan进行处理，交换机自动给数据包上加上Natvie Vlan的tag。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##修改交换机的3号端口##
RS G8124-E (config-if)# switchport mode trunk ##交换机3号端口配置为Trunk模式##
RS G8124-E (config-if)#switchport trunk native vlan 1
##允许所有的vLAN通过，但是如果没有vLAN tag，交换机按照vLAN 1进行处理##
RS G8124-E (config-if)# exit
查看端口情况命令
默认情况下，vLAN1为非管理口的Native vLAN，4095为管理端口的Native vLAN，可以设置的vLAN为1—4094.
查看vLAN信息的命令：
RS G8124-E (config)#show vlan
查看端口的vLAN信息命令：
RS G8124-E (config)#show interface information
RS G8124-E (config)#show interface trunk
20
2.6 交换机的互联配置（ISL）
此步主要是将两台连接HX服务器的G8124E交换机通过光纤线连接起来，通过配置将其配置为一个逻辑的交换机，2台交换机可以通过ISL+vLAG进行设置，共享MAC地址表。2台相互连接的G8124E交换机称为vLAG peer，与交换机连接的HX服务器成为vLAG Client。
2台完全相同型号和配置的G8124E交换机相连接，至少2根10Gb的光纤线进行连接。
由于2台交换机之间的流量，包含虚拟机流量都可以通过ISL网络进行通讯，所以ISL连接的数量建议是G8124E交换机上连接的服务器端口数量的一半数量。
关于生成树（STP）协议：Lenovo G8124E交换机默认开启PVST的生成树协议，在用户生产环境中需要跟用户进行确认，建议关闭生成树协议以防止与用户环境的生成树冲突。
配置步骤：
21
此例中有2台G8124E交换机分别为G8124E-1和G8124E-2，G8124E-1的3，4号端口通过10Gb光纤直接与G8124E-2的3，4号端口相连接。
在第一台交换机G8124E-1上的配置：
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1 (config)#
spanning-tree mode disable ##关闭STP协议##
G8124E-1 # show span ##查看STP状态检查##
G8124E-1 (conf)# lldp enable ##开启链路状态发现协议##
G8124E-1(config)# interface port 3-4 ##配置3，4号端口##
G8124E-1 (config-if)# switchport mode trunk ##端口模式配置为Trunk##
G8124E-1 (config-if)# lacp mode active ##将LACP开启并设置为active##
G8124E-1 (config-if)# lacp key 200 ##设置lacp的管理key为200，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
G8124E-1 (config-if)# exit
G8124E-1 (config)# vlag tier-id 1 ##设置vlag的tier-id，id值可以不同，但是2台交换机上必须设置为相同的值##
G8124E-1 (config)# vlag hlthchk peer-ip 10.0.0.2 ##设置vlag的心跳IP，检查健康状况，IP必须是对端的交换机的IP，可以是带内管理IP，也可以是带外管理IP，建议使用带外管理IP，如果设置为带外管理IP，需要连接带外管理口，到可以通讯的交换机##
G8124E-1 (config)# vlag isl adminkey 200 ##此处输入lacp的key##
22
G8124E-1 (config)# exit
在第二台交换机G8124E-2上的配置：
G8124E-2 # enable
G8124E-2 # conf t
G8124E-2 (config)#
spanning-tree mode disable ##关闭STP协议##
G8124E-2 # show span ##查看STP状态检查##
G8124E-2 (conf)# lldp enable ##开启链路状态发现协议##
G8124E-2(config)# interface port 3-4 ##配置3，4号端口##
G8124E-2 (config-if)# switchport mode trunk ##端口模式配置为Trunk##
G8124E-2(config-if)# lacp mode active ##将LACP开启并设置为active##
G8124E-2 (config-if)# lacp key 200 ##设置lacp的管理key为200，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
G8124E-2 (config-if)# exit
G8124E-2 (config)# vlag tier-id 1 ##设置vlag的tier-id，id值可以不同，但是2台交换机上必须设置为相同的值##
G8124E-2 (config)# vlag hlthchk peer-ip 10.0.0.1 ##设置vlag的心跳IP，检查健康状况，IP必须是对端的交换机的IP，可以是带内管理IP，也可以是带外管理IP，建议使用带外管理IP，如果设置为带外管理IP，需要连接带外管理口，到可以通讯的交换机##
G8124E-2 (config)# vlag isl adminkey 200 ##此处输入lacp的key##
G8124E-2 (config)# exit
至此，配置已经完成。
查看vLAG的状态命令：配置完成后需要查看vLAG是否已经up。
G8124E-2(config-if)#show vlag information
vLAG Tier ID: 1
vLAG system MAC: 08:17:f4:c3:dd:00
Local MAC a4:8c:db:a3:19:00 Priority 0 Admin Role PRIMARY (Operational Role PRIMARY)
Peer MAC a4:8c:db:b3:7c:00 Priority 0
23
Health local 10.0.0.2 peer 10.0.0.1 State UP
ISL trunk id 13
ISL state Up
Auto Recovery Interval: 300s (Finished)
Startup Delay Interval: 120s (Finished)
2.7 交换机上联设置
G8124E交换机一方面连接HX服务器，另一方面需要上联到用户的环境。需要视用户环境的交换机型号而进行设置。对于上联主要有2中情况。
1. 用户的上联交换机为2台，而且采用vLAG技术互联。
G8124E的配置方法就是通过创建vLAG来实现G8124E和用户交换机的互联。
G8124E的配置步骤：（以2台G8124E的18，19号端口连接到用户交换机为例）
第一台交换机配置
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1#(config)# int port 18-19 ##设置端口18，19##
G8124E-1#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-1#(config)# lacp key 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
24
G8124E-1#( (config-if)# vlag adminkey 80 enable ##开启vlag##
第二台交换机配置
G8124E-2 # enable
G8124E-2 # conf t
G8124E-2#(config)# int port 18-19 ##设置端口18，19##
G8124E-2#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-2#(config)# lacp key 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
G8124E-2#( (config-if)# vlag adminkey 80 enable ##开启vlag##
上联交换机需要的配置为使用Active LACP的vLAG/MC-LAG等等形式。
查看vLAG的状态：
G8124E-2(config-if)#show vlag information
2. 用户的上联交换机为2台，但是没有进行互联。
此种情况配置方式跟上一种配置方式基本相同，不同的地方就是配置了2组LACP
vLAG，因为2台用户的交换机相互独立，所以不能将4个端口配置为同一个vLAG。
G8124E的配置步骤：
25
本例中2台G8124E的18号端口连接到用户交换机1（黑色LACP组，key 80），19号端口连接到用户交换机2（蓝色LACP组，key 90）：
第一台交换机配置
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1#(config)# int port 18 ##设置端口18##
G8124E-1#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-1#(config)# lacp adminkey 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上18号端口必须都设置为相同的值##
G8124E-1#( (config-if)# vlag adminkey 80 enable ##开启vlag##
G8124E-1#( (config-if)#exit
G8124E-1#(config)# int port 19 ##设置端口19##
G8124E-1#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-1#(config)# lacp adminkey 90 ##设置lacp的管理key为90，这里的Key可以设置为不同的值，但是在2台交换机上19号端口必须都设置为相同的值##
G8124E-1#( (config-if)# vlag adminkey 90 enable ##开启vlag##
第二台交换机配置
G8124E-2# enable
G8124E-2 # conf t
G8124E-2#(config)# int port 18 ##设置端口18##
G8124E-2#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-2#(config)# lacp adminkey 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上18号端口必须都设置为相同的值##
G8124E-2#( (config-if)# vlag adminkey 80 enable ##开启vlag##
G8124E-2#( (config-if)#exit
26
G8124E-2#(config)# int port 19 ##设置端口19##
G8124E-2#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-2#(config)# lacp adminkey 90 ##设置lacp的管理key为90，这里的Key可以设置为不同的值，但是在2台交换机上19号端口必须都设置为相同的值##
G8124E-2#( (config-if)# vlag adminkey 90 enable ##开启vlag##
上联交换机需要的配置为使用Active LACP的形式。
查看vLAG的状态：
G8124E-2(config-if)#show vlag information
注意：
联想的交换机中的portchannal配置的是静态LACP，而Cisco的Portchannal配置的是动态LACP，两者是不一样的。
与联想交换机上联配置只需要配置LACP，不需要配置vLAG。
3. 虚拟化配置选项
3.1 VMware ESXi的集群配置选项
在Lenovo HX节点上部署VMware ESXi集群后，需要根据Nutanix的特性再进行一定的设置才能保证ESXi集群的合理健康的使用，主要的配置选项如下：
配置项
主机监控
接入控制
接入控制策略
配置值
启用
启用
作为故障切换空间容量保留的集群资源的百分比：按照节点的数量进行设置，如3节点集群为33%，4节点为25%
27
备注
参见《vSphere
Administration Guide for
Acropolis (using vSphere
Web Client)》。
主机隔离响应 关闭电源
但是CVM虚拟机不继承集群设置，每个CVM虚拟机设置为保持打开电源，防止隔离后关闭本机的CVM虚拟机
虚拟机重新启用优先级 中等
CVM虚拟机不继承集群设置，每个CVM虚拟机重启优先级设置为已禁用
虚拟机监控 可以根据用户的需要进行设置
CVM虚拟机不继承集群的设置，每个CVM虚拟机的虚拟机监控设置为已禁用
数据存储检测信号
高级选项设置
选择考虑加入我的首选项的任何集群数据存储：选择提供给ESXi集群的Nutanix的NFS存储
InsufficientHbDatastore=true.
当提供给ESXi存储的NFS Datastore只有1个时，ESXi集群默认会报警，提示心跳存储只有1个，这种情况才会需要设置此高级选项来禁用心跳存储不够的告警。
DRS电源管理
所有CVM虚拟机的DRS自动化级别
SIOC
禁用，默认Storage IO Control是禁用的，但是另外需要关闭“存储IO统计信息收集”以及开启”将I/O统计信息从SDRS中排除”
Nutanix KB
关闭
禁用
相关vSphere集群截图如下：
接入控制策略设置：
28
主机隔离响应设置—集群设置
主机隔离响应设置—CVM虚拟机禁用集群设置：
虚拟机重启优先级—CVM虚拟机禁用设置：
29
虚拟机监控设置—CVM禁用虚拟机监控
数据存储检测信号高级选项设置：
禁用SIOC（只有WEB Client）：
30
3.2 AHV虚拟化配置
1. AHV虚拟机环境是否支持Thin Provision？
支持，AHV的虚拟机磁盘默认使用Thin Provision。
2. 虚拟机磁盘扩容：
AHV支持磁盘的扩容。具体的步骤如下：
通过Prism创建一个虚拟机，安装虚拟机的操作系统，然后安装NGT。
在操作系统中可以看到磁盘的空间情况。如下图：
31
关闭虚拟机，点击VM-Table下方的虚拟机工具栏中的Update按钮
选择虚拟机需要扩容的磁盘，点击编辑按钮
32
输入新的磁盘容量数值。这里以60GB扩容至80GB为例，这里输入80GB
点击Update，然后保存。开启虚拟机，然后到磁盘管理中可以看到虚拟机磁盘已经增加为33
80GB
注意：需要空间的变更只能增加，不能减少，如果在编辑虚拟机磁盘空间时容量少于之前的空间，系统会提示不允许这样操作。
3. 虚拟机导出：
34
这里有2种方式：
第一种是通过winscp进行导出，具体的方法是：
关闭虚拟机；
使用winscp并使用2222端口登陆到虚拟机所在的主机的CVM虚拟机，访问目录/container/.acropolis/vmdisk进行到处。
具体的确认虚拟机的具体磁盘名称为使用命令nutanix@cvm$ ncli virtual-disk ls | grep -B 1
第二种方法为：
通过Prism页面，点击VM-Table，找到需要导出的虚拟机，记录虚拟机的名称，并将虚拟机关机。
SSH登录虚拟机所在的主机的CVM虚拟机，执行acli命令
35
执行查找虚拟机
使用 windows-Test include_vmdisk_paths=1查看虚拟机的情况，并记录虚拟机的虚拟磁盘路径和UUID
36
退出acli命令模式，并执行以下命令导出虚拟机
qemu-img convert -f raw -c nfs://127.0.0.1/OS/.acropolis/vmdisk/24d71827-a0db-4798-87ee-8003c26bb -O qcow2 nfs://127.0.0.1/OS/2
其中/OS/.acropolis/vmdisk/24d71827-a0db-4798-87ee-8003c26bb为上一步记录的路径，2为导出的文件
登录Prism界面，点击filesystem whitelist，添加文件访问白名单。
37
添加需要访问并拷贝的机器的IP地址
使用windows server 2012 浏览CVM的虚拟机IP地址，然后查看虚拟机文件并拷贝，并到其它地方的环境中使用。
4. 虚拟机的磁盘分离和挂载（例如： Win701 这台机器坏了，如何取下Win701的D盘数38
据盘，并挂载到新建机器win702上，使它成为Win702的D盘数据盘）
在一台虚拟机上添加一块2GB磁盘，然后写入相应的数据
找到这台虚拟机所在的物理主机和CVM
SSH登录所在的CVM，然后执行acli 查看虚拟机。
39
执行acli xhk-win7 include_vmdisk_paths=1 查看磁盘所在的路径
模拟机器crash，然后关闭虚拟机
打开prism，打开image service。
40
选择upload image
上传，选择刚才的磁盘的路径
41
上次传完成后如下图：
此时可以在需要挂载的虚拟机上添加这个磁盘。
选择一个新的需要挂载的虚拟机，点击update按钮，添加一个磁盘，磁盘的添加选择如下：
42
点击Add，点击Save按钮保存。
此时登录到虚拟机，发现多了一块磁盘。如下
将磁盘联机。查看磁盘的内容，发现数据完好。
5. 如何管理虚拟机的快照：
在AHV环境中虚拟机的快照是通过Prism界面进行管理的。具体的管理方法为：
登录到Prism界面，选择VM菜单
43
选择Table标签，进入虚拟机列表页面选择虚拟机。
找到需要进行快照的虚拟机后，可以通过下方的工具栏中Take Snapshot对虚拟机快照进行管理：
44
3.3 AHV环境的网络配置
AHV虚拟化平台基于KVM技术，采用的网络管理主要是通过open vSwitch技术进行，所以其底层的网络配置与VMware vSphere有些不同。
AHV的网络负载均衡技术主要有三种：
1. Active-Backup：
主备模式，这是AHV的默认负责均衡策略。也就是2块万兆网卡只有1块有流量通过，另外1块万兆网卡无任何流量通过，只有在活动的网卡出现故障时，备用网卡才会成为活动网卡承载网络流量，不需要在交换机进行任何配置，但是使用率只有50%。具体如下图所示。
45
2. Balance-slb
与交换机无关的负载均衡策略，相当于VMware vSphere的“基于源端口路由”策略，所有的虚拟机流量动态的使用2块网卡中的任何一块，实现负载均衡，但是任何一个虚拟机的流量都不会超过1块上联物理网卡的流量，不需要交换机进行任何配置。如下图所示：
3. LACP with balance TCP
链路聚合模式：这种模式可以充分利用多块上联网卡的带宽进行负载均衡，而且任何一台虚拟机都可以同时使用所有上联网卡的带宽，从而达到大流量传输。需要交换机进行配置。具体如下图：
46
AHV网络环境的配置命令：
1. 查看集群所有上联网卡的连接状态和带宽信息：
SSH登录到任何一个CVM执行以下命令：allssh "manage_ovs show_interfaces"
输入内容如下图：
47
2. 查看open vswitch（OVS）的bridge信息：
SSH登录到CVM执行以下命令：ssh root@15.2.21.2 ovs-vsctl show，（蓝色部分为需要查看的AHV主机的地址）
3. 查看OVS使用哪些上联网卡：(br0是ovs bridge)
SSH登录到CVM执行以下命令：manage_ovs --bridge_name br0
show_uplinks（br0为上一步查询到的ovs bridge的名称），查看所有的host的上联网卡使用allssh命令
4. 查看OVS的bridge的负载均衡策略：
SSH登录到CVM执行以下命令：ssh root@15.2.21.2 ovs-appctl bond/show
（蓝色为需要查看的AHV主机的IP地址）
48
5. 修改OVS的负载均衡策略：
SSH登录到CVM执行以下命令：
ssh root@15.2.21.2 "ovs-vsctl set port br0-up bond_mode=active-backup"
蓝色部分为需要修改的部分：
15.2.21.2为AHV主机的IP地址
br0-up为上一步命令查看的bond的名称
active-backup为负载均衡策略的名称
其中修改为balance-nlb策略的命令如下：
SSH登陆到CVM
ssh root@15.2.21.2 "ovs-vsctl set port br0-up bond_mode=balance-nlb"
ssh root@15.2.21.2 "ovs-vsctl set port br0-up other_config:bond-rebalance-interval=60000"
（默认情况下，rebalance的时间为10s，nutanix建议修改为60s）
修改为LACP with balance TCP策略的命令如下：
SSH登陆到CVM
ssh root@15.2.21.2 “ovs-vsctl set port br0-up lacp=active”
ssh root@15.2.21.2 “ovs-vsctl set port br0-up bond_mode=balance-tcp”
ssh root@15.2.21.2 “ovs-vsctl set port br0-up other_config:lacp-fallback-ab=true”
注意：
49
2024年3月4日发(作者：召翠芙)
Lenovo HX系列超融合系统
安装配置手册
1
目 录
1.
使用Foundation安装部署 ................................................................................ 3
1.1
1.2
1.3
文件下载 .................................................................................................................... 3
Foundation虚拟机的准备 ..................................................................................... 6
部署过程 .................................................................................................................... 8
2.
网络交换机配置部分 .......................................................................................... 15
2.1
2.2
2.3
2.4
2.5
2.6
2.7
整个网络拓扑 .......................................................................................................... 15
Lenovo G8124E交换机的主要信息 ................................................................... 16
交换机用户配置 ...................................................................................................... 17
交换机的管理网络配置 .......................................................................................... 18
交换机的端口配置 .................................................................................................. 19
交换机的互联配置（ISL） .................................................................................... 21
交换机上联设置 ...................................................................................................... 24
3.
虚拟化配置选项 .................................................................................................. 27
3.1
3.2
3.3
VMware ESXi的集群配置选项 ............................................................................ 27
AHV虚拟化配置 .................................................................................................... 31
AHV环境的网络配置 ............................................................................................ 45
4.
其它相关问题 ...................................................................................................... 50
2
4.1
4.2
4.3
4.4
Nutanix的license以及区分 ............................................................................... 50
关于Prism Central ............................................................................................... 51
如何进行初步的性能诊断 ...................................................................................... 56
Pro的License注册 .............................................................................................. 58
5.
集群升级 .............................................................................................................. 61
5.1
5.2
集群健康检查 .......................................................................................................... 61
Prism界面更新 ...................................................................................................... 62
6.
引用文档 .............................................................................................................. 68
1. 使用Foundation安装部署
1.1 文件下载
1. Nutanix部分：
Nutanix的安装文件，Foundation虚拟机，AHV，NOS,以及Prism Central，Phoenix等软件。下载链接为：
/（需要拥有Nutnaix的账号才可以。）
3
2. Hypervisor部分：
Nutanix平台目前支持VMware ESXi，AHV以及Hyper-V三种虚拟化平台，其下载的位置如下：
VMware ESXi：
通过VMware的官方网站，下载链接为
/group/vmware/info?slug=datacenter_cloud_infrastructure/vmware_vsphere/6_0
AHV：
通过Nutanix网站下载，下载地址
/#/page/static/hypervisorDetails
4
Hyper-V：
Hyper-V需要使用微软的官方版本，需要使用Windows20** with Hyper-V版本，下载地址在需要到微软官方下载。
3. 联想的IMM/UEFI部分：
在安装时需要确认HX服务器的IMM以及UEFI版本，这些版本的下载地址为：
/us/zh，在查询框中输入HX机型的型号，如8693代表HX3310
然后在页面中选择BIOS，可以下载UEFI，选择IMM可以下载IMM版本。
5
1.2 Foundation虚拟机的准备
1. 文件准备
Foundation是Nutanix的部署工具，用来进行初次快速部署Nutanix的集群。Foundation本身是一个虚拟机，可以通过Nutanix网站下载。下载页面为：（由于CVM里内置Foundation工具，所以一旦CVM集群建立后，将不需要再使用部署时使用的Foundation虚拟机，只需要使用Prism页面进行管理和添加/删除节点即可。）
下载后进行解压（下载后请核对MD5码，确保MD5值一致），解压后的文件列表如下：
2. 虚拟机创建
只需要将其导入到本机的VMware Workstation中即可创建Foundation虚拟机。foundation虚拟机的网络一定是桥接方式。如下图：
6
Foundation虚拟机的默认用户名密码分别如下：
用户名：nutanix
密码：nutanix/4u
Foundation虚拟机启动后，复制相应的ISO到相应的目录
ESXi的ISO放置在目录/home/nutanix/foundation/isos/hypervisor/esx
AHV的升级包放置在目录/home/nutanix/foundation/isos/hypervisor/kvm
AOS升级包放置在目录/home/nutanix/foundation/nos
注意：
1. 如果Foundation使用的是3.5以及更高的版本，则不需要对Foundation虚拟机进行任何修改，可以直接使用。
7
2. 如果Foundation使用的是3.4以前的版本，需要同时下载Lenovo HX的补丁，将HX补丁拷贝到Foundation虚拟机中，然后在Nutanix Foundation虚拟机中执行一下命令来更新HX补丁。
nutanix@cvm$ ~/foundation/bin/foundation_upgrade -t
nutanix@cvm$ service foundation_service start
3. 时间调整
调整foundation时区：请修改为用户当地时区
图形化界面修改：在命令行下执行system-config-date
调整foundation时间
点击桌面上的图标“set_foundation_ip_address”修改IP地址使其能够访问外网
命令：sudo ntpdate -u 跟时间服务器进行同步
命令：date检查当前时区和时间（中国时区为CST）
1.3 部署过程
1. 服务器连线：部署时只需要连接IMM和1跟10Gb的光纤线即可，部署完成后再进行另外一根光纤线的连接，并在Hypervisor层进行调整。
注意：
如果部署前连接了所有的光纤连线，则部署时有可能出错。
2. 查看或者升级IMM/UEFI版本，根据相关的通知酌情升级UEFI和IMM的版本；
8
截至到2017年2月，请确保部署时将UEFI升级到2.22版本。
3. 修改IMM时间；
4. 按照客户网络要求修改IMM的IP地址；
5. 修改IMM的主机名；
6. 修改IMM的用户密码；
7. 查看BIOS时间以及修正；
8. 启动Foundation VM，点击“set_foundation_ip_address”图标修改Foundation VM的IP地址；
9. 打开Nutanix Foundation网页开始部署Nutanix节点；
10. Foundation开始扫描网络中的节点。扫描后会按照序列号列出目前的连接的节点。Foundation扫描是通过IPv6的locallink地址进行的。如果HX节点连接的交换机网络端口是Trunk，建议设置一个native vlan，所有的管理地址都运行再Native vLan中，这样才能更好的网络识别。如果是在一个access端口下，则所有节点的vLAN号必须一致；
9
注意：
如果无法识别到所有的节点，可以手工添加，请按照IMM的MAC地址进行节点添加。添加完成后使用页面右上角的ping进行测试。
11. 输入规划好的Hypervisor IP，CVM IP以及IMM IP地址；
12. 输入其它网络信息，包含子网掩码，网关；
10
13. 选择要部署的CVM的版本以及Hypervisor的类别和版本。这些版本的文件是通过网站提前下载并放在foundation虚拟机的相应目录下的。否则不会显示出来；
14. 在接下来的页面点击“Create Cluster”来创建Nutanix的Cluster；
11
15. 输入cluster的名字，VIP地址，DNS，NTP以及副本数量等信息，VIP地址，DNS，NTP也可以在集群完成后输入，这里不填也可以；
注意：
副本数量：如果节点数量<5，那么即使购买了Pro的License，也无法改为3，只能选择2。如果节点数量>=5,，并且购买了Pro的license，则可以使用3副本。
16. 点击“Run Installation”开始部署。系统会提示，整个操作会进行1小时左右。点击Proceed；
12
17. 开始部署后网页会跳转到进度页面，也可以点击右侧的log进行查看部署的日志。如下：
18. 部署过程中，HX节点会进行重启，安装等一系列动作，这一切都是自动的。
13
注意：
在部署节点出现问题导致部署失败，请查看log。并检查以下方面：
网络连接和配置情况，这是出问题最多的；主要包括：
IPMI的IP和MAC地址是否正确；
IPMI的用户名和密码是否正确
Foundation虚拟机的网络跟HX节点以及IMM的网络是否在同一个广播域（vLAN）；
Foundation虚拟机的磁盘空间：Foundation对于Hyper-V部署需要至少9GB剩余空间，对于AHV和ESXi部署，需要至少3GB剩余空间。
其它文件参见Nutnaix的《Field Installation Guide》中的Troubleshooting章节
19. 部署完成后的界面如下：
20. 此时在浏览器中输入VIP地址，或者任何一个CVM的IP地址即可登录Prism页面，查看整个集群的信息。第一次登录使用的用户名位admin，密码admin，第一次登录会要求修改Prism的密码。
21. 修改CVM的时区设置。使用Foundation部署完成后，CVM的时区是PST，需要修改位CST（China Standard Time），修改方式为，SSH登录到任何一台CVM虚拟机。然后执行data命令查看当前时区，如果是CST，则不需要修改，如果不是，请使用如下命令修改：14
ncli cluster set-timezone timezone=Asia/Chongqing
至此Nutanix的部署工作基本结束。
2. 网络交换机配置部分
2.1 整个网络拓扑
在Lenovo HX超融合的系统部署中，典型的架构网络为：
需要注意以下5点：
1. 千兆交换机和万兆交换机务必都要连接到用户的网络；
15
2. 如果有更多的千兆接口，可以使用HX节点上主板自带的4个千兆网口来提供额外的虚拟机流量（需要另外创建虚拟交换机）。
3. CVM需要和Hypervisor在同一个vLAN之中。但IMM可以不在同一个vLAN中。
4. 由于G8124E交换机出厂默认没有配SFP+模块，所以需要检查用户现场的SFP+的模块数量，主要包含：
a) 服务器的网卡上的SFP+模块数量；
b) 每个服务器网卡对应的交换机上的SFP+模块的数量；
c) 2台G8124E交换机之间互联的模块的数量（每台交换机至少2个）；
d) 每台G8124E交换机上联至用户网络的SFP+模块（每台交换机至少1个）；
e) 光纤线的数量。
5. G8124E交换机可以提供1Gb的端口速率，但需要使用不同型号的模块。
2.2 Lenovo G8124E交换机的主要信息
Lenovo G8124E交换机包含24个10Gb端口，2个管理端口的交换机，24个10Gb端口为SFP+的连接方式。建议支持14个以内的HX节点的连接。15—35个节点建议采用Lenovo
G8272交换机。
G8124E交换机的视图下：
16
交换机默认的用户名和密码为：
用户名：admin
密码：admin
2.3 交换机用户配置
修改默认的管理员密码：
默认出厂设置的Lenovo G8124E交换机内置管理员用户和密码都是admin，但是为了安全起见，一般需要修改默认的管理员密码。修改方式如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)#access user administrator-password
Changing ADMINISTRATOR password; validation required:
Enter current local admin password: ##输入现有的密码##
Enter new admin password (max 64 characters): ##输入新的密码##
Re-enter new admin password: ##再次输入新的密码##
New admin password accepted.
增加新的管理员用户：
默认管理员用户是无法修改用户名的，而且无法删除，只能进行disable或者enable。如果用户需要添加一个新的管理员用户，需要做如下操作：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124E(config)# access user 1 name newusername
##1为添加的第一个用户，newuser那么为新用户的用户名##
RS G8124E(config)# access user 1 password
Changing user1 password; validation required:
Enter current admin password:
##输入现有管理员密码##
Enter new user1 password:
Reenter new user1 password:
New user1 password accepted.
RS G8124E(config)#access user 1 level administrator
##将第一个添加的用户设置为管理员级别##
RS G8124E#show access user uid 1 ##显示第一个用户的用户名进行确认##
RS G8124E(config)# access user 1 enable ##激活添加的用户##
17
RS G8124E(config)#exit
RS G8124E#show access user ##显示当前的所有用户##
2.4 交换机的管理网络配置
交换机出厂时默认有带外和带内管理的IP，但是在用户的实际生产环境中需要根据用户的需要进行修改。
在G8124E中的管理端口对应如下：
序号
1
2
3
端口
带内管理
带外管理A
带外管理B
对应内部端口
IP 1
IP 127
IP 128
对应网关
Gateway 1
Gateway 3
Gateway 4
修改带外管理地址：（以带外管理端口A为例）
配置命令如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface ip 127 ##修改带外管理A口##
RS G8124-E (config-ip-if)# ip address 172.26.16.9 ##配置带外管理A口的IP地址##
RS G8124-E (config-ip-if)# ip netmask 255.255.255.0 ##配置带外管理A口的子网掩码##
RS G8124-E (config-ip-if)# enable ##激活带外管理A口的配置##
RS G8124-E (config-ip-if)# exit
RS G8124-E (config)# ip gateway 3 address 172.26.16.1 ##配置带外管理A口的网关##
RS G8124-E (config)# ip gateway 3 enable ##激活带外管理A口的网关##
修改带内管理地址
配置命令如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface ip 1 ##修改带内管理口##
RS G8124-E (config-ip-if)# ip address 172.26.16.8 ##配置带内管理口的IP地址##
RS G8124-E (config-ip-if)# ip netmask 255.255.255.0 ##配置带内管理口的子网掩码##
RS G8124-E (config-ip-if)# enable ##激活带内管理口的配置##
18
RS G8124-E (config-ip-if)# exit
RS G8124-E (config)# ip gateway 1 address 172.26.16.1 ##配置带内管理口的网关##
RS G8124-E (config)# ip gateway 1 enable ##激活带内管理口的网关##
注意：
默认情况下，带内管理是采用DHCP来获取IP地址，如果没有DHCP，带内管理将采用默认的IP地址。所以如果用户网络里有DHCP服务器，请务必配置带内管理IP。
2.5 交换机的端口配置
配置交换机端口为Access
将交换机的端口配置为Access口时，此端口只能允许一个vLAN通过，如果没有配置vLAN，则只允许Natvie vLAN的数据通过。默认情况下，交换机的每个端口都没有进行配置，只允许Native vLAN通过，也就是默认的vLAN 1。
如果所有的端口都只是通过1个vLAN，则不需要对交换机端口进行配置。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##修改交换机的3号端口##
RS G8124-E (config-if)# switchport access vlan 2
##交换机3号端口配置为access模式，并且只允许2号vLAN通过##
RS G8124-E (config-if)# exit
配置交换机端口为Trunk
将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的服务器或者交换机需要打vLAN的tag才能正常通讯，否则交换机会丢弃数据包。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##修改交换机的3号端口##
RS G8124-E (config-if)# switchport mode trunk ##交换机3号端口配置为Trunk模式##
RS G8124-E (config-if)# switchport trunk allowed vlans 1,2
19
##交换机3号端口的Trunk模式只允许1，2号vLAN数据包通过，如果此条命令不加，则允许所有的vLAN通过##
RS G8124-E (config-if)# exit
配置交换机端口为Tunk+Native vLAN
将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的服务器或者交换机需要打vLAN的tag才能正常通讯，否则交换机会丢弃数据包，如果配置了Natvie vLAN，则不打tag的数据包按照Natvie Vlan进行处理，交换机自动给数据包上加上Natvie Vlan的tag。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##修改交换机的3号端口##
RS G8124-E (config-if)# switchport mode trunk ##交换机3号端口配置为Trunk模式##
RS G8124-E (config-if)#switchport trunk native vlan 1
##允许所有的vLAN通过，但是如果没有vLAN tag，交换机按照vLAN 1进行处理##
RS G8124-E (config-if)# exit
查看端口情况命令
默认情况下，vLAN1为非管理口的Native vLAN，4095为管理端口的Native vLAN，可以设置的vLAN为1—4094.
查看vLAN信息的命令：
RS G8124-E (config)#show vlan
查看端口的vLAN信息命令：
RS G8124-E (config)#show interface information
RS G8124-E (config)#show interface trunk
20
2.6 交换机的互联配置（ISL）
此步主要是将两台连接HX服务器的G8124E交换机通过光纤线连接起来，通过配置将其配置为一个逻辑的交换机，2台交换机可以通过ISL+vLAG进行设置，共享MAC地址表。2台相互连接的G8124E交换机称为vLAG peer，与交换机连接的HX服务器成为vLAG Client。
2台完全相同型号和配置的G8124E交换机相连接，至少2根10Gb的光纤线进行连接。
由于2台交换机之间的流量，包含虚拟机流量都可以通过ISL网络进行通讯，所以ISL连接的数量建议是G8124E交换机上连接的服务器端口数量的一半数量。
关于生成树（STP）协议：Lenovo G8124E交换机默认开启PVST的生成树协议，在用户生产环境中需要跟用户进行确认，建议关闭生成树协议以防止与用户环境的生成树冲突。
配置步骤：
21
此例中有2台G8124E交换机分别为G8124E-1和G8124E-2，G8124E-1的3，4号端口通过10Gb光纤直接与G8124E-2的3，4号端口相连接。
在第一台交换机G8124E-1上的配置：
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1 (config)#
spanning-tree mode disable ##关闭STP协议##
G8124E-1 # show span ##查看STP状态检查##
G8124E-1 (conf)# lldp enable ##开启链路状态发现协议##
G8124E-1(config)# interface port 3-4 ##配置3，4号端口##
G8124E-1 (config-if)# switchport mode trunk ##端口模式配置为Trunk##
G8124E-1 (config-if)# lacp mode active ##将LACP开启并设置为active##
G8124E-1 (config-if)# lacp key 200 ##设置lacp的管理key为200，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
G8124E-1 (config-if)# exit
G8124E-1 (config)# vlag tier-id 1 ##设置vlag的tier-id，id值可以不同，但是2台交换机上必须设置为相同的值##
G8124E-1 (config)# vlag hlthchk peer-ip 10.0.0.2 ##设置vlag的心跳IP，检查健康状况，IP必须是对端的交换机的IP，可以是带内管理IP，也可以是带外管理IP，建议使用带外管理IP，如果设置为带外管理IP，需要连接带外管理口，到可以通讯的交换机##
G8124E-1 (config)# vlag isl adminkey 200 ##此处输入lacp的key##
22
G8124E-1 (config)# exit
在第二台交换机G8124E-2上的配置：
G8124E-2 # enable
G8124E-2 # conf t
G8124E-2 (config)#
spanning-tree mode disable ##关闭STP协议##
G8124E-2 # show span ##查看STP状态检查##
G8124E-2 (conf)# lldp enable ##开启链路状态发现协议##
G8124E-2(config)# interface port 3-4 ##配置3，4号端口##
G8124E-2 (config-if)# switchport mode trunk ##端口模式配置为Trunk##
G8124E-2(config-if)# lacp mode active ##将LACP开启并设置为active##
G8124E-2 (config-if)# lacp key 200 ##设置lacp的管理key为200，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
G8124E-2 (config-if)# exit
G8124E-2 (config)# vlag tier-id 1 ##设置vlag的tier-id，id值可以不同，但是2台交换机上必须设置为相同的值##
G8124E-2 (config)# vlag hlthchk peer-ip 10.0.0.1 ##设置vlag的心跳IP，检查健康状况，IP必须是对端的交换机的IP，可以是带内管理IP，也可以是带外管理IP，建议使用带外管理IP，如果设置为带外管理IP，需要连接带外管理口，到可以通讯的交换机##
G8124E-2 (config)# vlag isl adminkey 200 ##此处输入lacp的key##
G8124E-2 (config)# exit
至此，配置已经完成。
查看vLAG的状态命令：配置完成后需要查看vLAG是否已经up。
G8124E-2(config-if)#show vlag information
vLAG Tier ID: 1
vLAG system MAC: 08:17:f4:c3:dd:00
Local MAC a4:8c:db:a3:19:00 Priority 0 Admin Role PRIMARY (Operational Role PRIMARY)
Peer MAC a4:8c:db:b3:7c:00 Priority 0
23
Health local 10.0.0.2 peer 10.0.0.1 State UP
ISL trunk id 13
ISL state Up
Auto Recovery Interval: 300s (Finished)
Startup Delay Interval: 120s (Finished)
2.7 交换机上联设置
G8124E交换机一方面连接HX服务器，另一方面需要上联到用户的环境。需要视用户环境的交换机型号而进行设置。对于上联主要有2中情况。
1. 用户的上联交换机为2台，而且采用vLAG技术互联。
G8124E的配置方法就是通过创建vLAG来实现G8124E和用户交换机的互联。
G8124E的配置步骤：（以2台G8124E的18，19号端口连接到用户交换机为例）
第一台交换机配置
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1#(config)# int port 18-19 ##设置端口18，19##
G8124E-1#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-1#(config)# lacp key 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
24
G8124E-1#( (config-if)# vlag adminkey 80 enable ##开启vlag##
第二台交换机配置
G8124E-2 # enable
G8124E-2 # conf t
G8124E-2#(config)# int port 18-19 ##设置端口18，19##
G8124E-2#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-2#(config)# lacp key 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值##
G8124E-2#( (config-if)# vlag adminkey 80 enable ##开启vlag##
上联交换机需要的配置为使用Active LACP的vLAG/MC-LAG等等形式。
查看vLAG的状态：
G8124E-2(config-if)#show vlag information
2. 用户的上联交换机为2台，但是没有进行互联。
此种情况配置方式跟上一种配置方式基本相同，不同的地方就是配置了2组LACP
vLAG，因为2台用户的交换机相互独立，所以不能将4个端口配置为同一个vLAG。
G8124E的配置步骤：
25
本例中2台G8124E的18号端口连接到用户交换机1（黑色LACP组，key 80），19号端口连接到用户交换机2（蓝色LACP组，key 90）：
第一台交换机配置
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1#(config)# int port 18 ##设置端口18##
G8124E-1#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-1#(config)# lacp adminkey 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上18号端口必须都设置为相同的值##
G8124E-1#( (config-if)# vlag adminkey 80 enable ##开启vlag##
G8124E-1#( (config-if)#exit
G8124E-1#(config)# int port 19 ##设置端口19##
G8124E-1#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-1#(config)# lacp adminkey 90 ##设置lacp的管理key为90，这里的Key可以设置为不同的值，但是在2台交换机上19号端口必须都设置为相同的值##
G8124E-1#( (config-if)# vlag adminkey 90 enable ##开启vlag##
第二台交换机配置
G8124E-2# enable
G8124E-2 # conf t
G8124E-2#(config)# int port 18 ##设置端口18##
G8124E-2#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-2#(config)# lacp adminkey 80 ##设置lacp的管理key为80，这里的Key可以设置为不同的值，但是在2台交换机上18号端口必须都设置为相同的值##
G8124E-2#( (config-if)# vlag adminkey 80 enable ##开启vlag##
G8124E-2#( (config-if)#exit
26
G8124E-2#(config)# int port 19 ##设置端口19##
G8124E-2#(config)# lacp mode active ##将LACP开启并设置为active##
G8124E-2#(config)# lacp adminkey 90 ##设置lacp的管理key为90，这里的Key可以设置为不同的值，但是在2台交换机上19号端口必须都设置为相同的值##
G8124E-2#( (config-if)# vlag adminkey 90 enable ##开启vlag##
上联交换机需要的配置为使用Active LACP的形式。
查看vLAG的状态：
G8124E-2(config-if)#show vlag information
注意：
联想的交换机中的portchannal配置的是静态LACP，而Cisco的Portchannal配置的是动态LACP，两者是不一样的。
与联想交换机上联配置只需要配置LACP，不需要配置vLAG。
3. 虚拟化配置选项
3.1 VMware ESXi的集群配置选项
在Lenovo HX节点上部署VMware ESXi集群后，需要根据Nutanix的特性再进行一定的设置才能保证ESXi集群的合理健康的使用，主要的配置选项如下：
配置项
主机监控
接入控制
接入控制策略
配置值
启用
启用
作为故障切换空间容量保留的集群资源的百分比：按照节点的数量进行设置，如3节点集群为33%，4节点为25%
27
备注
参见《vSphere
Administration Guide for
Acropolis (using vSphere
Web Client)》。
主机隔离响应 关闭电源
但是CVM虚拟机不继承集群设置，每个CVM虚拟机设置为保持打开电源，防止隔离后关闭本机的CVM虚拟机
虚拟机重新启用优先级 中等
CVM虚拟机不继承集群设置，每个CVM虚拟机重启优先级设置为已禁用
虚拟机监控 可以根据用户的需要进行设置
CVM虚拟机不继承集群的设置，每个CVM虚拟机的虚拟机监控设置为已禁用
数据存储检测信号
高级选项设置
选择考虑加入我的首选项的任何集群数据存储：选择提供给ESXi集群的Nutanix的NFS存储
InsufficientHbDatastore=true.
当提供给ESXi存储的NFS Datastore只有1个时，ESXi集群默认会报警，提示心跳存储只有1个，这种情况才会需要设置此高级选项来禁用心跳存储不够的告警。
DRS电源管理
所有CVM虚拟机的DRS自动化级别
SIOC
禁用，默认Storage IO Control是禁用的，但是另外需要关闭“存储IO统计信息收集”以及开启”将I/O统计信息从SDRS中排除”
Nutanix KB
关闭
禁用
相关vSphere集群截图如下：
接入控制策略设置：
28
主机隔离响应设置—集群设置
主机隔离响应设置—CVM虚拟机禁用集群设置：
虚拟机重启优先级—CVM虚拟机禁用设置：
29
虚拟机监控设置—CVM禁用虚拟机监控
数据存储检测信号高级选项设置：
禁用SIOC（只有WEB Client）：
30
3.2 AHV虚拟化配置
1. AHV虚拟机环境是否支持Thin Provision？
支持，AHV的虚拟机磁盘默认使用Thin Provision。
2. 虚拟机磁盘扩容：
AHV支持磁盘的扩容。具体的步骤如下：
通过Prism创建一个虚拟机，安装虚拟机的操作系统，然后安装NGT。
在操作系统中可以看到磁盘的空间情况。如下图：
31
关闭虚拟机，点击VM-Table下方的虚拟机工具栏中的Update按钮
选择虚拟机需要扩容的磁盘，点击编辑按钮
32
输入新的磁盘容量数值。这里以60GB扩容至80GB为例，这里输入80GB
点击Update，然后保存。开启虚拟机，然后到磁盘管理中可以看到虚拟机磁盘已经增加为33
80GB
注意：需要空间的变更只能增加，不能减少，如果在编辑虚拟机磁盘空间时容量少于之前的空间，系统会提示不允许这样操作。
3. 虚拟机导出：
34
这里有2种方式：
第一种是通过winscp进行导出，具体的方法是：
关闭虚拟机；
使用winscp并使用2222端口登陆到虚拟机所在的主机的CVM虚拟机，访问目录/container/.acropolis/vmdisk进行到处。
具体的确认虚拟机的具体磁盘名称为使用命令nutanix@cvm$ ncli virtual-disk ls | grep -B 1
第二种方法为：
通过Prism页面，点击VM-Table，找到需要导出的虚拟机，记录虚拟机的名称，并将虚拟机关机。
SSH登录虚拟机所在的主机的CVM虚拟机，执行acli命令
35
执行查找虚拟机
使用 windows-Test include_vmdisk_paths=1查看虚拟机的情况，并记录虚拟机的虚拟磁盘路径和UUID
36
退出acli命令模式，并执行以下命令导出虚拟机
qemu-img convert -f raw -c nfs://127.0.0.1/OS/.acropolis/vmdisk/24d71827-a0db-4798-87ee-8003c26bb -O qcow2 nfs://127.0.0.1/OS/2
其中/OS/.acropolis/vmdisk/24d71827-a0db-4798-87ee-8003c26bb为上一步记录的路径，2为导出的文件
登录Prism界面，点击filesystem whitelist，添加文件访问白名单。
37
添加需要访问并拷贝的机器的IP地址
使用windows server 2012 浏览CVM的虚拟机IP地址，然后查看虚拟机文件并拷贝，并到其它地方的环境中使用。
4. 虚拟机的磁盘分离和挂载（例如： Win701 这台机器坏了，如何取下Win701的D盘数38
据盘，并挂载到新建机器win702上，使它成为Win702的D盘数据盘）
在一台虚拟机上添加一块2GB磁盘，然后写入相应的数据
找到这台虚拟机所在的物理主机和CVM
SSH登录所在的CVM，然后执行acli 查看虚拟机。
39
执行acli xhk-win7 include_vmdisk_paths=1 查看磁盘所在的路径
模拟机器crash，然后关闭虚拟机
打开prism，打开image service。
40
选择upload image
上传，选择刚才的磁盘的路径
41
上次传完成后如下图：
此时可以在需要挂载的虚拟机上添加这个磁盘。
选择一个新的需要挂载的虚拟机，点击update按钮，添加一个磁盘，磁盘的添加选择如下：
42
点击Add，点击Save按钮保存。
此时登录到虚拟机，发现多了一块磁盘。如下
将磁盘联机。查看磁盘的内容，发现数据完好。
5. 如何管理虚拟机的快照：
在AHV环境中虚拟机的快照是通过Prism界面进行管理的。具体的管理方法为：
登录到Prism界面，选择VM菜单
43
选择Table标签，进入虚拟机列表页面选择虚拟机。
找到需要进行快照的虚拟机后，可以通过下方的工具栏中Take Snapshot对虚拟机快照进行管理：
44
3.3 AHV环境的网络配置
AHV虚拟化平台基于KVM技术，采用的网络管理主要是通过open vSwitch技术进行，所以其底层的网络配置与VMware vSphere有些不同。
AHV的网络负载均衡技术主要有三种：
1. Active-Backup：
主备模式，这是AHV的默认负责均衡策略。也就是2块万兆网卡只有1块有流量通过，另外1块万兆网卡无任何流量通过，只有在活动的网卡出现故障时，备用网卡才会成为活动网卡承载网络流量，不需要在交换机进行任何配置，但是使用率只有50%。具体如下图所示。
45
2. Balance-slb
与交换机无关的负载均衡策略，相当于VMware vSphere的“基于源端口路由”策略，所有的虚拟机流量动态的使用2块网卡中的任何一块，实现负载均衡，但是任何一个虚拟机的流量都不会超过1块上联物理网卡的流量，不需要交换机进行任何配置。如下图所示：
3. LACP with balance TCP
链路聚合模式：这种模式可以充分利用多块上联网卡的带宽进行负载均衡，而且任何一台虚拟机都可以同时使用所有上联网卡的带宽，从而达到大流量传输。需要交换机进行配置。具体如下图：
46
AHV网络环境的配置命令：
1. 查看集群所有上联网卡的连接状态和带宽信息：
SSH登录到任何一个CVM执行以下命令：allssh "manage_ovs show_interfaces"
输入内容如下图：
47
2. 查看open vswitch（OVS）的bridge信息：
SSH登录到CVM执行以下命令：ssh root@15.2.21.2 ovs-vsctl show，（蓝色部分为需要查看的AHV主机的地址）
3. 查看OVS使用哪些上联网卡：(br0是ovs bridge)
SSH登录到CVM执行以下命令：manage_ovs --bridge_name br0
show_uplinks（br0为上一步查询到的ovs bridge的名称），查看所有的host的上联网卡使用allssh命令
4. 查看OVS的bridge的负载均衡策略：
SSH登录到CVM执行以下命令：ssh root@15.2.21.2 ovs-appctl bond/show
（蓝色为需要查看的AHV主机的IP地址）
48
5. 修改OVS的负载均衡策略：
SSH登录到CVM执行以下命令：
ssh root@15.2.21.2 "ovs-vsctl set port br0-up bond_mode=active-backup"
蓝色部分为需要修改的部分：
15.2.21.2为AHV主机的IP地址
br0-up为上一步命令查看的bond的名称
active-backup为负载均衡策略的名称
其中修改为balance-nlb策略的命令如下：
SSH登陆到CVM
ssh root@15.2.21.2 "ovs-vsctl set port br0-up bond_mode=balance-nlb"
ssh root@15.2.21.2 "ovs-vsctl set port br0-up other_config:bond-rebalance-interval=60000"
（默认情况下，rebalance的时间为10s，nutanix建议修改为60s）
修改为LACP with balance TCP策略的命令如下：
SSH登陆到CVM
ssh root@15.2.21.2 “ovs-vsctl set port br0-up lacp=active”
ssh root@15.2.21.2 “ovs-vsctl set port br0-up bond_mode=balance-tcp”
ssh root@15.2.21.2 “ovs-vsctl set port br0-up other_config:lacp-fallback-ab=true”
注意：
49