2023年12月6日发(作者：贸宣)
联想HX超融合平台
部署手册
（AHV）
1 / 91
目录
1
前言 ................................................................................................................................. 4
1.1
1.2
培训目的 .............................................................................................................................. 4
测试环境 .............................................................................................................................. 4
2
联想HX综合功能测试 ...................................................................................................... 7
2.1
简易安装部署 ...................................................................................................................... 7
2.1.1
安装准备 ................................................................................................................................. 7
2.1.2
使用Foundation快速部署AHV &CVM .................................................................................. 10
2.1.3
快速初始化配置.................................................................................................................... 20
2.1.4
集群健康检查........................................................................................................................ 21
2.1.5
创建虚机 ............................................................................................................................... 22
2.2
Prism统一管理运维工具 .................................................................................................... 31
2.2.1
Prism主页信息概览 .............................................................................................................. 31
2.2.2
查看存储空间使用情况 ........................................................................................................ 32
2.2.3
系统健康检查........................................................................................................................ 34
2.2.4
硬件状态检查及查看硬件利用率 ........................................................................................ 35
2.2.5
直观和丰富的报表功能 ........................................................................................................ 37
2.2.6
统计分析和告警界面 ............................................................................................................ 38
2.2.7
一键式不间断系统升级 ........................................................................................................ 40
2.2.8
查看Controller VM 配置 ....................................................................................................... 40
2.2.9
命令行交互界面.................................................................................................................... 40
2.2.10
增加节点，扩展集群（可选）............................................................................................ 41
2.3
其他联想HX功能测试 ......................................................................................................... 41
2.3.1
硬件故障辅助定位（LED） ................................................................................................. 41
2.3.2
REST API Explorer -- 查询所有Rest API接口 ........................................................................ 42
2.3.3
Support Portal -- 打开技术支持中心网站 ........................................................................... 43
2.3.4
Licensing -- 更新集群License ............................................................................................... 44
2.3.5
Authentication Configuration -- 添加AD域管理验证 .......................................................... 45
2.3.6
Create User -- 创建用户 ....................................................................................................... 47
2.3.7
SMTP Server -- 配置邮件服务器地址 .................................................................................. 48
2.3.8
Alert Email Configuration -- 配置告警邮件 ......................................................................... 49
2.3.9
Alert Policies -- 告警策略配置 ............................................................................................. 50
2.3.10
Filesystem Whitelists -- 文件系统白名单 ............................................................................ 50
2.3.11
创建Volume Group ................................................................................................................ 51
2.3.12
虚机在线迁移 ....................................................................................................................... 53
2.3.13
定制虚机并创建通用镜像 ................................................................................................... 55
2.3.14
收集集群日志用于售后服务 ............................................................................................... 58
2.3.15
停止集群及关机操作 ........................................................................................................... 60
2.3.16
从Esxi的windows 虚机迁移到AHV ...................................................................................... 61
2.3.17
修改CVM/AHV IP 地址（可选） ......................................................................................... 68
2.3.18
备份与灾备功能(可选) ......................................................................................................... 68
2.4
小结 ................................................................................................................................... 69
2 / 91
3
联想HX可靠性及冗余测试 ............................................................................................. 70
3.1
冗余性测试 ........................................................................................................................ 70
3.1.1
CVM冗余测试 ........................................................................................................................ 70
3.1.2
电源冗余测试........................................................................................................................ 71
3.1.3
链路冗余测试........................................................................................................................ 72
3.1.4
节点冗余测试........................................................................................................................ 73
3.1.5
磁盘冗余测试........................................................................................................................ 75
3.2
小结 ................................................................................................................................... 80
4
联想HX平台性能测试 .................................................................................................... 81
4.1
基本I/O性能测试 ............................................................................................................... 83
4.1.1
4K随机读写性能 ................................................................................................................... 83
4.1.2
4K随机70%读30%写性能测试 .............................................................................................. 84
4.1.3
8K随机70%读30%写性能测试 .............................................................................................. 85
4.1.4
512K连续100%写性能测试 .................................................................................................. 86
4.1.5
512K连续100%读性能测试 .................................................................................................. 87
4.2
小结 ................................................................................................................................... 88
5
更多参考资料 ................................................................................................................ 89
3 / 91
1 前言
1.1 培训目的
此次测试需要达到以下目的：
验证联想HX超融合架构的综合功能
验证联想HX基于KVM的虚拟化管理套件Acropolis Hypervisor的功能特性
验证联想HX融合架构的可靠性及冗余特性
验证在联想HX系统应用的性能表现
1.2 测试环境
联想HX 融合虚拟化平台配置:
每节点（共三个节点）
型号
CPU 内存 硬盘
SSD: 2 x
HX-3500 E5-2650v3 128GB 480GB
HDD: 6 x 1TB
实际可用容量：8TB (RF=2)
打开EC，可用容量可提高至12TB
节点安装AHV 20160217
NOS版本：4.6.1.1
网络
2x 10GB SFP+
4 x 1GB 10BaseT
1 x 100M IMPI
4 / 91
网络拓扑及地址信息：
每个节点各有2个万兆端口，使用个两个万兆口连接G8264交换机万兆口，每个节点IPMI连接G8052交换机千兆口。上联到用户测试环境。IP地址信息如下：
第一组IP 使用范围10.160.6.1 – 10.160.6.20
第二组IP 使用范围10.160.6.21 – 10.160.6.40
第三组IP 使用范围10.160.6.41 – 10.160.6.60
第四组IP 使用范围10.160.6.61 – 10.160.6.80
举例如下：
节点 CVM IP AHV IP IPMI IP（无分配静态IP 地址，保留原有IP）
Node-A 10.160.6.75 10.160.6.78 10.160.6.72
Node-B 10.160.6.76 10.160.6.79 10.160.6.73
Node-C 10.160.6.77 10.160.6.80 10.160.6.74
Gateway 10.160.6.1 10.160.6.1 10.160.6.1
DNS
NTP
10.160.6.200
虚拟化环境用户名口令：
5 / 91
用户名 口令 连接方式
Prism admin admin
CVM nutanix nutanix/4u ssh
AVH root nutanix/4u ssh
IPMI
USERID PASSW0RD
6 / 91
2 联想HX综合功能测试
2.1 简易安装部署
2.1.1 安装准备
2.1.1.1准备NTP 服务器（用于同步cluster 时间， 如果出现不一致，比如可能会看到比我们的实际时间+8个小时，prism的性能图表会显示不出来。如果没有NTP，最简单的方法是把登录prism管理界面的桌面电脑时间，调成和cluster 一样）。 DNS 服务器（可选）。
2.1.1.2去Nutanix官方网站上注册账户，地址/，用邮箱去注册，注册完成后直接可以登录使用，以下所有从官网下载的文件，建议用md5sum算一下md5值，确保下载的完整性，以防后面使用过程中出现问题。
2.1.1.3 选择Support Portal，找到Download选项，选择Foundation页面，如下：
选择下载红色圈起来的文件，iso_whitelist 文件包含了合法通过的iso文件。 除了中间的Foundation源文件，联想HX 系列还需要下载第三个 更新包。
2.1.1.4切换到Acropolis (NOS)的下载界面，选择4.x的版本。
7 / 91
2.1.1.5 按照iso_的内容准备hypervisor的ISO文件，如果ISO的md5码与该文件中的不一致，则不能正常安装。该文档是安装esxi， 可以使用lenovo customized esxi iso，自行下载/us/en/products/servers/lenovo-x86-servers/lenovo-converged-hx-series
可以看到下载的iSO md5 和whilelist 文件的内容一致。
2.1.1.6如果是希望集群创建之后，跑diagnostics test， 切换到tools and firmware， 下载diagnostic
文件。
2.1.1.7硬件设备到位后，需要准备一个千兆/万兆接入交换机，将网线/光纤线插入到板载一个千兆口或者x520一个万兆口。 一般使用万兆口。然后与接入交换机连通；
8 / 91
HX系列硬件设备到位后，需要准备一个千兆/万兆电口接入交换机，将网线插入到IMM及第一个万兆口（安装AHV必须使用万兆口，安装VMware可以使用千兆口），然后与接入交换机连通；同时记下System X前面板显示屏里IMM的IPMI的MAC地址，每个节点一个地址，在后面安装配置的时候使用；
2.1.1.8在安装之前需要考虑网络的规划，Nutanix每个节点需要三个IP地址，包括了IPMI、Hypervisor和CVM；Nutanix集群也需要一个IP地址，同时需要设置DNS、NTP服务器等；同时Foundation和安装笔记本或台式机也各需要一个IP地址；如果有VLAN的设置，需要提前规划好，并且要在接入交换机上做Trunk端口；具体的网络规划和配置参考第一章节。
2.1.1.9在安装之前需要安装桌面端的虚拟化软件，安装virtual box 或者vmware workstation在PC或者笔记本上，将Foundation_VM-3.1.1_解压缩，然后通过桌面端的虚拟化软件导入，开启VM。Virtualbox Foundation 虚机网络设置如下图，该本地网卡需要通过网线连接到和万兆交换机
9 / 91
2.1.2 使用Foundation快速部署AHV &CVM
2.1.2.1 设备是出厂并且安装过的带有ahv 的设备，需要执行以下步骤destroy cluster（注意：该步骤将清除所有数据）。
首选打开三节点任意的控制台，看到ahv 终端界面，使用root用户登录，密码是nutanix/4u，然后ssh到cvm， ******************.5.2， 密码也是nutanix/4u。
10 / 91
2.1.2.2 重启三个节点，进入UEFI 界面配置IMM IP， 根据第一章节的环境手册。
2.1.2.3 开启Foundation虚机， 用nutanix 用户登录之后， 可以看到桌面两个文件一个是set_foundation_ip_address，另外一个是Nutanix Foundation。
2.1.2.4点击set_foundation_ip_address，设置Foundation VM的IP、子网掩码、网关及DNS等信息，然后选择保存；
11 / 91
2.1.2.5 如果是HX系列，需要将使用scp复制到虚拟机内部／tmp下，使用tar -xzvf 解压缩，将现有nutanix用户目录下的foundation目录改名为foundation_old，将解压缩产生的foundation目录mv到该位置（/home/nutanix）。并确保以下权限。
12 / 91
2.1.2.6选择所要安装的Hypervisor，这里选择ahv，然后选择NOS的Package和Hypervisor ISO
Image，点击下一步：
注释：NOS的安装包需要提前将安装包nutanix_installer_package-danube-
Hypervisor的安装ISO需要提前上传到Foundation的/home/nutanix
/foundation/isos/hypervisor/[esx｜hyperv｜kvm]下面
如果是希望集群创建之后，跑diagnostics test， 把diagnostic test files 放到合适的位置
注意因为当前是nutanix用户登录，上面的文件用户和组用户都应该是nutanix，如果是root请修改。
2.2.7点击Nutanix Foundation，启动Nutanix安装配置过程，进入到全局配置界面，需要根据事先规划好的网络配置填写，包括IPMI、Hypervisor和CVM信息；填写完成点击下一步；
13 / 91
会自动侦测到node
配置ip
14 / 91
Iso选择
2.1.2.8点击创建一个Cluster，输入Cluster Name、Cluster外部IP地址、CVM DNS服务器、CVM NTP服务器、Hypervisor NTP服务器、最大冗余数，当前3节点， RF只能选择2.
2.1.2.9
15 / 91
2.1.2.10 在核对信息完成后，选择run installation
2.1.2.11 安装过程大概需要1小时，安装完最终效果
16 / 91
2.1.2.12 （可选）安装完成后如果有VLAN的配置，需要在Hypervisor和CVM上进行配置；
首先通过命令行工具SSH登录到Hypervisor的主机上，
例如**************.189.8
给Hypervisor设置VLAN
ovs-vsctl set port br0 tag=host_vlan_tag
然后执行命令查看现有虚拟网络端口
ovs-vsctl list port br0
在Hypervisor下登录到CVM
******************.5.254 17 / 91
然后执行命令修改VLAN设置
change_cvm_vlan=vlan_tag
2.1.2.13 完成安装，使用cvm ip 地址登录prism管理界面，第一次登录提示修改admin 密码。
2.1.2.14 （可选）脚本删除集群过程
登录某个节点CVM 控制台， 使用如下方式可以删除之前创建cluster
nutanix@NTNX-J30VL52-A-CVM:192.168.1.14:~$ cluster destroy
2016-05-31 03:57:17 INFO cluster:2073 Executing action destroy on SVMs
192.168.1.14,192.168.1.15,192.168.1.16
2016-05-31 03:57:17 INFO cluster:2082
***** CLUSTER NAME *****
18 / 91
esxtest
This operation will completely erase all data and all metadata, and each node will no longer
belong to a cluster. Do you want to proceed? (Y/[N]): y
…
2.1.2.15 （可选）脚本创建集群
登录某个节点CVM 控制台
［nutanix@NTNX-J30VL52-A-CVM:192.168.1.14:~$ cluster -s
192.168.1.14,192.168.1.15,192.168.1.16 create
2016-05-30 20:03:20 INFO cluster:2073 Executing action create on SVMs
192.168.1.14,192.168.1.15,192.168.1.16
2016-05-30 20:03:24 INFO cluster:795 Discovered node:
ip: 192.168.1.14
2016-05-30 20:03:24 INFO cluster:795 Discovered node:
ip: 192.168.1.16
rackable_unit_serial: J30VL4Z
node_position: A
node_uuid: 53feb2f9-0570-4e2c-8967-412e2a9b0233
rackable_unit_serial: J30VL52
node_position: A
node_uuid: 0ccbf565-558d-4b62-b0ad-fe4a5e7722cf
19 / 91
2016-05-30 20:03:24 INFO cluster:795 Discovered node:
ip: 192.168.1.15
…
2.1.2.16 （可选）检查集群状态
登录某个节点CVM 控制台
nutanix@NTNX-J30VL52-A-CVM:192.168.1.14:~$ ncc health_checks run_all
ncc_version: 2.2.3-550ddc51
cluster id: 7488932666122431736
cluster name: esxtest
node with service vm id 4
…
rackable_unit_serial: J30VL4Y
node_position: A
node_uuid: db1f1d9e-c25d-4e0b-a9e3-2694be98ba67
2.1.3 快速初始化配置
集群创建好， 默认创建了一个default storage pool和default container
20 / 91
可以手动创建新的Container，并挂载到所有节点
2.1.4 集群健康检查
创建完集群之后， 可以通过NCC 工具检查集群状态
21 / 91
2.1.5 创建虚机
linux虚机可以正常安装。
如果是windows虚机， 请参考以下步骤安装。
首选需要上传系统镜像
点击upload
22 / 91
接下来创建windows虚机， 如果是windows 2012 系统， 则需要安装VirtIO提供的驱动。VirtIO提供了scsi驱动（在添加磁盘的时候，BUS type如果选择IDE，在系统安装过程中，可以直接识别该磁盘。 如果BUS type选择SCSI，则需要在系统安装过程中，加载virtio内置的scsi驱动，才可以识别分配的磁盘）， 网卡驱动。
如果虚机系统是win2008R2或者win7系统，在添加磁盘的时候，BUS type只可以选择IDE，安装完系统之后， 则需要先安装SHA-2 code signing support，这个升级文件从微软获得。接下来安装VirtIO提供的网卡驱动和SCSI 驱动。
23 / 91
关于VirtIO 的使用，具体参考
/#/page/docs/details?targetId=AMF_Guide-Acr_v4_6:vm__vm_virtio_ahv_
安装windows 2008 虚机
DISK 选项里面的CDROM 选择添加的镜像iso文件。
24 / 91
同时把virtIO 文件（该文件从nutanix 下载，iso格式），sha-2升级文件“” 制作成iso格式（可以使用ultraiso），这两个文件挂载到虚机（前提也是要先上传到image
configuration）.
最后添加一个30G 的磁盘安装系统，注意磁盘BUS type选择IDE。
25 / 91
接下来添加虚拟网卡，在添加虚拟网卡之前， 需要创建network 接口。
创建完后，添加虚拟网卡
26 / 91
最后点击save，保存该虚机配置。
对刚创建的虚机开机。选择launch console 打开控制台，发现在下面阶段可以看到添加的磁盘。
往下继续安装，安装完后，安装sha-2 签名升级文件。安装完重启。
27 / 91
打开设备管理器，使用virtIO对以下设备安装驱动。
安装windows 2012
不走和windows2008 类似，cdrom除了挂载window2012 镜像， 还有ViriIO 驱动，
28 / 91
添加磁盘，bus type选择SCSI。还有添加网络，保存该设置。
对该虚机power on， 在下面阶段提示找不到硬盘。
29 / 91
选择加载驱动
把以下驱动加上。
30 / 91
加完驱动可以识别添加的硬盘。往下安装，直到系统完成安装。
2.2 Prism统一管理运维工具
2.2.1 Prism主页信息概览
联想HX自带的管理控制台Prism，不仅可以提供所有服务器、存储等基础架构硬件的管理，还可以管理所有虚拟机，完成虚拟机的日常监控维护。使用方便，用户不在需要在多个管理界面之间进行切换，从而实现统一管理，降低日常管理维护成本。
31 / 91
2.2.2 查看存储空间使用情况
Nutanix将服务器中的所有存储汇聚为一个统一的存储池（Storage Pool），并在存储池中为虚拟机划分相应的存储空间（Container）。
切换为storage 页面
我们可以通过Storage页面的访问来获取Nutanix系统存储使用情况的统计信息。
通过概览页面（Overview），我们可以获得有关存储的（从左至右）：信息汇总，性能图表，告警事件和存储事件，整个页面的布局与首页相仿，如下图：
通过图示页面（Diagram），我们可以获得关于存储的使用率，性能，告警和事件，这些内容通过图示或表单的形式进行展示，非常直观，并且通过鼠标悬停，即可获得管理需要的各类信息的具体数值，如下图：
32 / 91
通过表单页面（Table），我们可以获得相应存储空间或是存储池的统计信息，如下图
可以看到storage pool 物理可用大小为16.02TB。
可以看到contaniner 最大可用容量为8.01TB，这是由于RF=2 ，双副本策略。所以实际可用大小是物理storage pool大小的一半。
33 / 91
2.2.3 系统健康检查
通过Health页面的访问我们可以统一查看集群中所包含的所有虚拟机（VMs），主机（Hosts），磁盘（Disks）等的使用状况，这里是集群的健康检查中心，如下图：
当系统出现故障时，健康监测中心会予以告警提示，而管理人员能够通过简单的鼠标点击就发现具体故障点，方便问题的排查，这里我们示例cluster 旁边红色的1，事件显示说明是power supply check出现问题，如下图
34 / 91
点击右上角manage check，会提示cause of failure， resolution
2.2.4 硬件状态检查及查看硬件利用率
通过硬件状态页查看当前硬件版本、配置及运行情况，一旦出现问题时，可借助Turn On Led功能来辅助定位故障点。
35 / 91
通过概览页面（Overview），我们可以获得系统硬件配置的（从左至右）：信息汇总，性能表单，告警事件和硬件事件，整个页面的布局与首页相仿，如下图：
Nutanix硬件图示页面（Diagram）分为上下两个部分：上半部分是一个直观的Nutanix硬件平面图，这幅图与具体的硬件部件相关联，如发生相关告警或事件会在平面图的相应位置予以标识；
通过图示页面（Diagram）下半部分的图表，我们可以获得关于硬件的使用性能，告警和事件，同样的，各类信息通过图示或表单的形式进行直观的展示，并且通过鼠标悬停，即可获得管理需要的各类信息的具体数值，如下图
通过表单页面（Table），我们可以获得系统中所有节点（Node）的相关硬件信息，包括主机（Host）和磁盘（Disk），如下图：
36 / 91
2.2.5 直观和丰富的报表功能
可对监控指标项进行报表展示，并且可将不同节点的同一监控项在一个报表界面中呈现，如下图：
37 / 91
也可以在同一个界面中呈现同一节点的不同监控项。
2.2.6 统计分析和告警界面
Nutanix Web Console除了前面展示的一些默认统计图表外，我们还可以通过Analysis页面的访问来具体定制我们需要的分析报表，如下图
38 / 91
通过Alerts页面的访问我们可以详细查看所有的告警和事件信息，并且通过鼠标悬停，能够获得对于该告警或事件的解释和建议，如下图：
针对不同告警，可以配置响应的告警策略通知管理员，避免发生告警风暴，如下图：
也可以创建alert email congiuration
39 / 91
2.2.7 一键式不间断系统升级
通过一键式升级快速完成NOS、Hypervisor和磁盘firmware的升级，且不中断业务的运行
具体操作请看操作演示视频 “_Upgrade”
2.2.8 查看Controller VM 配置
可以通过Prism web管理界面查看CVM 的当前配置。包括vCPUs， MEMORY
2.2.9 命令行交互界面
通过SSH远程连接到CVM，以命令行方式查看集群当前状态。
40 / 91
2.2.10 增加节点，扩展集群（可选）
参考视频“ Node”
2.3 其他联想HX功能测试
2.3.1 硬件故障辅助定位（LED）
41 / 91
2.3.2 REST API Explorer -- 查询所有Rest API接口
42 / 91
2.3.3 Support Portal -- 打开技术支持中心网站
当需要寻求技术支持时，可以直接从Prism界面中打开技术支持中心网站，并登陆即可
43 / 91
2.3.4 Licensing -- 更新集群License
点击License来为集群添加新的License许可
44 / 91
以下是手工更新集群license的页面：
更多关于licence 的操作， 参考文档附件 “license处理”
2.3.5 Authentication Configuration -- 添加AD域管理验证
添加AD域名和验证的IP地址端口可以使用AD进行用户验证，但前提需提前创建AD 域服务器，当前环 45 / 91
境没有AD， 略过
46 / 91
2.3.6 Create User -- 创建用户
可以创建其他管理员用户或者非管理员用户
47 / 91
2.3.7 SMTP Server -- 配置邮件服务器地址
配置邮件服务器地址用于发送告警邮件
48 / 91
2.3.8 Alert Email Configuration -- 配置告警邮件
配置发送告警邮件给管理员或者联想HX Support
49 / 91
2023年12月6日发(作者：贸宣)
联想HX超融合平台
部署手册
（AHV）
1 / 91
目录
1
前言 ................................................................................................................................. 4
1.1
1.2
培训目的 .............................................................................................................................. 4
测试环境 .............................................................................................................................. 4
2
联想HX综合功能测试 ...................................................................................................... 7
2.1
简易安装部署 ...................................................................................................................... 7
2.1.1
安装准备 ................................................................................................................................. 7
2.1.2
使用Foundation快速部署AHV &CVM .................................................................................. 10
2.1.3
快速初始化配置.................................................................................................................... 20
2.1.4
集群健康检查........................................................................................................................ 21
2.1.5
创建虚机 ............................................................................................................................... 22
2.2
Prism统一管理运维工具 .................................................................................................... 31
2.2.1
Prism主页信息概览 .............................................................................................................. 31
2.2.2
查看存储空间使用情况 ........................................................................................................ 32
2.2.3
系统健康检查........................................................................................................................ 34
2.2.4
硬件状态检查及查看硬件利用率 ........................................................................................ 35
2.2.5
直观和丰富的报表功能 ........................................................................................................ 37
2.2.6
统计分析和告警界面 ............................................................................................................ 38
2.2.7
一键式不间断系统升级 ........................................................................................................ 40
2.2.8
查看Controller VM 配置 ....................................................................................................... 40
2.2.9
命令行交互界面.................................................................................................................... 40
2.2.10
增加节点，扩展集群（可选）............................................................................................ 41
2.3
其他联想HX功能测试 ......................................................................................................... 41
2.3.1
硬件故障辅助定位（LED） ................................................................................................. 41
2.3.2
REST API Explorer -- 查询所有Rest API接口 ........................................................................ 42
2.3.3
Support Portal -- 打开技术支持中心网站 ........................................................................... 43
2.3.4
Licensing -- 更新集群License ............................................................................................... 44
2.3.5
Authentication Configuration -- 添加AD域管理验证 .......................................................... 45
2.3.6
Create User -- 创建用户 ....................................................................................................... 47
2.3.7
SMTP Server -- 配置邮件服务器地址 .................................................................................. 48
2.3.8
Alert Email Configuration -- 配置告警邮件 ......................................................................... 49
2.3.9
Alert Policies -- 告警策略配置 ............................................................................................. 50
2.3.10
Filesystem Whitelists -- 文件系统白名单 ............................................................................ 50
2.3.11
创建Volume Group ................................................................................................................ 51
2.3.12
虚机在线迁移 ....................................................................................................................... 53
2.3.13
定制虚机并创建通用镜像 ................................................................................................... 55
2.3.14
收集集群日志用于售后服务 ............................................................................................... 58
2.3.15
停止集群及关机操作 ........................................................................................................... 60
2.3.16
从Esxi的windows 虚机迁移到AHV ...................................................................................... 61
2.3.17
修改CVM/AHV IP 地址（可选） ......................................................................................... 68
2.3.18
备份与灾备功能(可选) ......................................................................................................... 68
2.4
小结 ................................................................................................................................... 69
2 / 91
3
联想HX可靠性及冗余测试 ............................................................................................. 70
3.1
冗余性测试 ........................................................................................................................ 70
3.1.1
CVM冗余测试 ........................................................................................................................ 70
3.1.2
电源冗余测试........................................................................................................................ 71
3.1.3
链路冗余测试........................................................................................................................ 72
3.1.4
节点冗余测试........................................................................................................................ 73
3.1.5
磁盘冗余测试........................................................................................................................ 75
3.2
小结 ................................................................................................................................... 80
4
联想HX平台性能测试 .................................................................................................... 81
4.1
基本I/O性能测试 ............................................................................................................... 83
4.1.1
4K随机读写性能 ................................................................................................................... 83
4.1.2
4K随机70%读30%写性能测试 .............................................................................................. 84
4.1.3
8K随机70%读30%写性能测试 .............................................................................................. 85
4.1.4
512K连续100%写性能测试 .................................................................................................. 86
4.1.5
512K连续100%读性能测试 .................................................................................................. 87
4.2
小结 ................................................................................................................................... 88
5
更多参考资料 ................................................................................................................ 89
3 / 91
1 前言
1.1 培训目的
此次测试需要达到以下目的：
验证联想HX超融合架构的综合功能
验证联想HX基于KVM的虚拟化管理套件Acropolis Hypervisor的功能特性
验证联想HX融合架构的可靠性及冗余特性
验证在联想HX系统应用的性能表现
1.2 测试环境
联想HX 融合虚拟化平台配置:
每节点（共三个节点）
型号
CPU 内存 硬盘
SSD: 2 x
HX-3500 E5-2650v3 128GB 480GB
HDD: 6 x 1TB
实际可用容量：8TB (RF=2)
打开EC，可用容量可提高至12TB
节点安装AHV 20160217
NOS版本：4.6.1.1
网络
2x 10GB SFP+
4 x 1GB 10BaseT
1 x 100M IMPI
4 / 91
网络拓扑及地址信息：
每个节点各有2个万兆端口，使用个两个万兆口连接G8264交换机万兆口，每个节点IPMI连接G8052交换机千兆口。上联到用户测试环境。IP地址信息如下：
第一组IP 使用范围10.160.6.1 – 10.160.6.20
第二组IP 使用范围10.160.6.21 – 10.160.6.40
第三组IP 使用范围10.160.6.41 – 10.160.6.60
第四组IP 使用范围10.160.6.61 – 10.160.6.80
举例如下：
节点 CVM IP AHV IP IPMI IP（无分配静态IP 地址，保留原有IP）
Node-A 10.160.6.75 10.160.6.78 10.160.6.72
Node-B 10.160.6.76 10.160.6.79 10.160.6.73
Node-C 10.160.6.77 10.160.6.80 10.160.6.74
Gateway 10.160.6.1 10.160.6.1 10.160.6.1
DNS
NTP
10.160.6.200
虚拟化环境用户名口令：
5 / 91
用户名 口令 连接方式
Prism admin admin
CVM nutanix nutanix/4u ssh
AVH root nutanix/4u ssh
IPMI
USERID PASSW0RD
6 / 91
2 联想HX综合功能测试
2.1 简易安装部署
2.1.1 安装准备
2.1.1.1准备NTP 服务器（用于同步cluster 时间， 如果出现不一致，比如可能会看到比我们的实际时间+8个小时，prism的性能图表会显示不出来。如果没有NTP，最简单的方法是把登录prism管理界面的桌面电脑时间，调成和cluster 一样）。 DNS 服务器（可选）。
2.1.1.2去Nutanix官方网站上注册账户，地址/，用邮箱去注册，注册完成后直接可以登录使用，以下所有从官网下载的文件，建议用md5sum算一下md5值，确保下载的完整性，以防后面使用过程中出现问题。
2.1.1.3 选择Support Portal，找到Download选项，选择Foundation页面，如下：
选择下载红色圈起来的文件，iso_whitelist 文件包含了合法通过的iso文件。 除了中间的Foundation源文件，联想HX 系列还需要下载第三个 更新包。
2.1.1.4切换到Acropolis (NOS)的下载界面，选择4.x的版本。
7 / 91
2.1.1.5 按照iso_的内容准备hypervisor的ISO文件，如果ISO的md5码与该文件中的不一致，则不能正常安装。该文档是安装esxi， 可以使用lenovo customized esxi iso，自行下载/us/en/products/servers/lenovo-x86-servers/lenovo-converged-hx-series
可以看到下载的iSO md5 和whilelist 文件的内容一致。
2.1.1.6如果是希望集群创建之后，跑diagnostics test， 切换到tools and firmware， 下载diagnostic
文件。
2.1.1.7硬件设备到位后，需要准备一个千兆/万兆接入交换机，将网线/光纤线插入到板载一个千兆口或者x520一个万兆口。 一般使用万兆口。然后与接入交换机连通；
8 / 91
HX系列硬件设备到位后，需要准备一个千兆/万兆电口接入交换机，将网线插入到IMM及第一个万兆口（安装AHV必须使用万兆口，安装VMware可以使用千兆口），然后与接入交换机连通；同时记下System X前面板显示屏里IMM的IPMI的MAC地址，每个节点一个地址，在后面安装配置的时候使用；
2.1.1.8在安装之前需要考虑网络的规划，Nutanix每个节点需要三个IP地址，包括了IPMI、Hypervisor和CVM；Nutanix集群也需要一个IP地址，同时需要设置DNS、NTP服务器等；同时Foundation和安装笔记本或台式机也各需要一个IP地址；如果有VLAN的设置，需要提前规划好，并且要在接入交换机上做Trunk端口；具体的网络规划和配置参考第一章节。
2.1.1.9在安装之前需要安装桌面端的虚拟化软件，安装virtual box 或者vmware workstation在PC或者笔记本上，将Foundation_VM-3.1.1_解压缩，然后通过桌面端的虚拟化软件导入，开启VM。Virtualbox Foundation 虚机网络设置如下图，该本地网卡需要通过网线连接到和万兆交换机
9 / 91
2.1.2 使用Foundation快速部署AHV &CVM
2.1.2.1 设备是出厂并且安装过的带有ahv 的设备，需要执行以下步骤destroy cluster（注意：该步骤将清除所有数据）。
首选打开三节点任意的控制台，看到ahv 终端界面，使用root用户登录，密码是nutanix/4u，然后ssh到cvm， ******************.5.2， 密码也是nutanix/4u。
10 / 91
2.1.2.2 重启三个节点，进入UEFI 界面配置IMM IP， 根据第一章节的环境手册。
2.1.2.3 开启Foundation虚机， 用nutanix 用户登录之后， 可以看到桌面两个文件一个是set_foundation_ip_address，另外一个是Nutanix Foundation。
2.1.2.4点击set_foundation_ip_address，设置Foundation VM的IP、子网掩码、网关及DNS等信息，然后选择保存；
11 / 91
2.1.2.5 如果是HX系列，需要将使用scp复制到虚拟机内部／tmp下，使用tar -xzvf 解压缩，将现有nutanix用户目录下的foundation目录改名为foundation_old，将解压缩产生的foundation目录mv到该位置（/home/nutanix）。并确保以下权限。
12 / 91
2.1.2.6选择所要安装的Hypervisor，这里选择ahv，然后选择NOS的Package和Hypervisor ISO
Image，点击下一步：
注释：NOS的安装包需要提前将安装包nutanix_installer_package-danube-
Hypervisor的安装ISO需要提前上传到Foundation的/home/nutanix
/foundation/isos/hypervisor/[esx｜hyperv｜kvm]下面
如果是希望集群创建之后，跑diagnostics test， 把diagnostic test files 放到合适的位置
注意因为当前是nutanix用户登录，上面的文件用户和组用户都应该是nutanix，如果是root请修改。
2.2.7点击Nutanix Foundation，启动Nutanix安装配置过程，进入到全局配置界面，需要根据事先规划好的网络配置填写，包括IPMI、Hypervisor和CVM信息；填写完成点击下一步；
13 / 91
会自动侦测到node
配置ip
14 / 91
Iso选择
2.1.2.8点击创建一个Cluster，输入Cluster Name、Cluster外部IP地址、CVM DNS服务器、CVM NTP服务器、Hypervisor NTP服务器、最大冗余数，当前3节点， RF只能选择2.
2.1.2.9
15 / 91
2.1.2.10 在核对信息完成后，选择run installation
2.1.2.11 安装过程大概需要1小时，安装完最终效果
16 / 91
2.1.2.12 （可选）安装完成后如果有VLAN的配置，需要在Hypervisor和CVM上进行配置；
首先通过命令行工具SSH登录到Hypervisor的主机上，
例如**************.189.8
给Hypervisor设置VLAN
ovs-vsctl set port br0 tag=host_vlan_tag
然后执行命令查看现有虚拟网络端口
ovs-vsctl list port br0
在Hypervisor下登录到CVM
******************.5.254 17 / 91
然后执行命令修改VLAN设置
change_cvm_vlan=vlan_tag
2.1.2.13 完成安装，使用cvm ip 地址登录prism管理界面，第一次登录提示修改admin 密码。
2.1.2.14 （可选）脚本删除集群过程
登录某个节点CVM 控制台， 使用如下方式可以删除之前创建cluster
nutanix@NTNX-J30VL52-A-CVM:192.168.1.14:~$ cluster destroy
2016-05-31 03:57:17 INFO cluster:2073 Executing action destroy on SVMs
192.168.1.14,192.168.1.15,192.168.1.16
2016-05-31 03:57:17 INFO cluster:2082
***** CLUSTER NAME *****
18 / 91
esxtest
This operation will completely erase all data and all metadata, and each node will no longer
belong to a cluster. Do you want to proceed? (Y/[N]): y
…
2.1.2.15 （可选）脚本创建集群
登录某个节点CVM 控制台
［nutanix@NTNX-J30VL52-A-CVM:192.168.1.14:~$ cluster -s
192.168.1.14,192.168.1.15,192.168.1.16 create
2016-05-30 20:03:20 INFO cluster:2073 Executing action create on SVMs
192.168.1.14,192.168.1.15,192.168.1.16
2016-05-30 20:03:24 INFO cluster:795 Discovered node:
ip: 192.168.1.14
2016-05-30 20:03:24 INFO cluster:795 Discovered node:
ip: 192.168.1.16
rackable_unit_serial: J30VL4Z
node_position: A
node_uuid: 53feb2f9-0570-4e2c-8967-412e2a9b0233
rackable_unit_serial: J30VL52
node_position: A
node_uuid: 0ccbf565-558d-4b62-b0ad-fe4a5e7722cf
19 / 91
2016-05-30 20:03:24 INFO cluster:795 Discovered node:
ip: 192.168.1.15
…
2.1.2.16 （可选）检查集群状态
登录某个节点CVM 控制台
nutanix@NTNX-J30VL52-A-CVM:192.168.1.14:~$ ncc health_checks run_all
ncc_version: 2.2.3-550ddc51
cluster id: 7488932666122431736
cluster name: esxtest
node with service vm id 4
…
rackable_unit_serial: J30VL4Y
node_position: A
node_uuid: db1f1d9e-c25d-4e0b-a9e3-2694be98ba67
2.1.3 快速初始化配置
集群创建好， 默认创建了一个default storage pool和default container
20 / 91
可以手动创建新的Container，并挂载到所有节点
2.1.4 集群健康检查
创建完集群之后， 可以通过NCC 工具检查集群状态
21 / 91
2.1.5 创建虚机
linux虚机可以正常安装。
如果是windows虚机， 请参考以下步骤安装。
首选需要上传系统镜像
点击upload
22 / 91
接下来创建windows虚机， 如果是windows 2012 系统， 则需要安装VirtIO提供的驱动。VirtIO提供了scsi驱动（在添加磁盘的时候，BUS type如果选择IDE，在系统安装过程中，可以直接识别该磁盘。 如果BUS type选择SCSI，则需要在系统安装过程中，加载virtio内置的scsi驱动，才可以识别分配的磁盘）， 网卡驱动。
如果虚机系统是win2008R2或者win7系统，在添加磁盘的时候，BUS type只可以选择IDE，安装完系统之后， 则需要先安装SHA-2 code signing support，这个升级文件从微软获得。接下来安装VirtIO提供的网卡驱动和SCSI 驱动。
23 / 91
关于VirtIO 的使用，具体参考
/#/page/docs/details?targetId=AMF_Guide-Acr_v4_6:vm__vm_virtio_ahv_
安装windows 2008 虚机
DISK 选项里面的CDROM 选择添加的镜像iso文件。
24 / 91
同时把virtIO 文件（该文件从nutanix 下载，iso格式），sha-2升级文件“” 制作成iso格式（可以使用ultraiso），这两个文件挂载到虚机（前提也是要先上传到image
configuration）.
最后添加一个30G 的磁盘安装系统，注意磁盘BUS type选择IDE。
25 / 91
接下来添加虚拟网卡，在添加虚拟网卡之前， 需要创建network 接口。
创建完后，添加虚拟网卡
26 / 91
最后点击save，保存该虚机配置。
对刚创建的虚机开机。选择launch console 打开控制台，发现在下面阶段可以看到添加的磁盘。
往下继续安装，安装完后，安装sha-2 签名升级文件。安装完重启。
27 / 91
打开设备管理器，使用virtIO对以下设备安装驱动。
安装windows 2012
不走和windows2008 类似，cdrom除了挂载window2012 镜像， 还有ViriIO 驱动，
28 / 91
添加磁盘，bus type选择SCSI。还有添加网络，保存该设置。
对该虚机power on， 在下面阶段提示找不到硬盘。
29 / 91
选择加载驱动
把以下驱动加上。
30 / 91
加完驱动可以识别添加的硬盘。往下安装，直到系统完成安装。
2.2 Prism统一管理运维工具
2.2.1 Prism主页信息概览
联想HX自带的管理控制台Prism，不仅可以提供所有服务器、存储等基础架构硬件的管理，还可以管理所有虚拟机，完成虚拟机的日常监控维护。使用方便，用户不在需要在多个管理界面之间进行切换，从而实现统一管理，降低日常管理维护成本。
31 / 91
2.2.2 查看存储空间使用情况
Nutanix将服务器中的所有存储汇聚为一个统一的存储池（Storage Pool），并在存储池中为虚拟机划分相应的存储空间（Container）。
切换为storage 页面
我们可以通过Storage页面的访问来获取Nutanix系统存储使用情况的统计信息。
通过概览页面（Overview），我们可以获得有关存储的（从左至右）：信息汇总，性能图表，告警事件和存储事件，整个页面的布局与首页相仿，如下图：
通过图示页面（Diagram），我们可以获得关于存储的使用率，性能，告警和事件，这些内容通过图示或表单的形式进行展示，非常直观，并且通过鼠标悬停，即可获得管理需要的各类信息的具体数值，如下图：
32 / 91
通过表单页面（Table），我们可以获得相应存储空间或是存储池的统计信息，如下图
可以看到storage pool 物理可用大小为16.02TB。
可以看到contaniner 最大可用容量为8.01TB，这是由于RF=2 ，双副本策略。所以实际可用大小是物理storage pool大小的一半。
33 / 91
2.2.3 系统健康检查
通过Health页面的访问我们可以统一查看集群中所包含的所有虚拟机（VMs），主机（Hosts），磁盘（Disks）等的使用状况，这里是集群的健康检查中心，如下图：
当系统出现故障时，健康监测中心会予以告警提示，而管理人员能够通过简单的鼠标点击就发现具体故障点，方便问题的排查，这里我们示例cluster 旁边红色的1，事件显示说明是power supply check出现问题，如下图
34 / 91
点击右上角manage check，会提示cause of failure， resolution
2.2.4 硬件状态检查及查看硬件利用率
通过硬件状态页查看当前硬件版本、配置及运行情况，一旦出现问题时，可借助Turn On Led功能来辅助定位故障点。
35 / 91
通过概览页面（Overview），我们可以获得系统硬件配置的（从左至右）：信息汇总，性能表单，告警事件和硬件事件，整个页面的布局与首页相仿，如下图：
Nutanix硬件图示页面（Diagram）分为上下两个部分：上半部分是一个直观的Nutanix硬件平面图，这幅图与具体的硬件部件相关联，如发生相关告警或事件会在平面图的相应位置予以标识；
通过图示页面（Diagram）下半部分的图表，我们可以获得关于硬件的使用性能，告警和事件，同样的，各类信息通过图示或表单的形式进行直观的展示，并且通过鼠标悬停，即可获得管理需要的各类信息的具体数值，如下图
通过表单页面（Table），我们可以获得系统中所有节点（Node）的相关硬件信息，包括主机（Host）和磁盘（Disk），如下图：
36 / 91
2.2.5 直观和丰富的报表功能
可对监控指标项进行报表展示，并且可将不同节点的同一监控项在一个报表界面中呈现，如下图：
37 / 91
也可以在同一个界面中呈现同一节点的不同监控项。
2.2.6 统计分析和告警界面
Nutanix Web Console除了前面展示的一些默认统计图表外，我们还可以通过Analysis页面的访问来具体定制我们需要的分析报表，如下图
38 / 91
通过Alerts页面的访问我们可以详细查看所有的告警和事件信息，并且通过鼠标悬停，能够获得对于该告警或事件的解释和建议，如下图：
针对不同告警，可以配置响应的告警策略通知管理员，避免发生告警风暴，如下图：
也可以创建alert email congiuration
39 / 91
2.2.7 一键式不间断系统升级
通过一键式升级快速完成NOS、Hypervisor和磁盘firmware的升级，且不中断业务的运行
具体操作请看操作演示视频 “_Upgrade”
2.2.8 查看Controller VM 配置
可以通过Prism web管理界面查看CVM 的当前配置。包括vCPUs， MEMORY
2.2.9 命令行交互界面
通过SSH远程连接到CVM，以命令行方式查看集群当前状态。
40 / 91
2.2.10 增加节点，扩展集群（可选）
参考视频“ Node”
2.3 其他联想HX功能测试
2.3.1 硬件故障辅助定位（LED）
41 / 91
2.3.2 REST API Explorer -- 查询所有Rest API接口
42 / 91
2.3.3 Support Portal -- 打开技术支持中心网站
当需要寻求技术支持时，可以直接从Prism界面中打开技术支持中心网站，并登陆即可
43 / 91
2.3.4 Licensing -- 更新集群License
点击License来为集群添加新的License许可
44 / 91
以下是手工更新集群license的页面：
更多关于licence 的操作， 参考文档附件 “license处理”
2.3.5 Authentication Configuration -- 添加AD域管理验证
添加AD域名和验证的IP地址端口可以使用AD进行用户验证，但前提需提前创建AD 域服务器，当前环 45 / 91
境没有AD， 略过
46 / 91
2.3.6 Create User -- 创建用户
可以创建其他管理员用户或者非管理员用户
47 / 91
2.3.7 SMTP Server -- 配置邮件服务器地址
配置邮件服务器地址用于发送告警邮件
48 / 91
2.3.8 Alert Email Configuration -- 配置告警邮件
配置发送告警邮件给管理员或者联想HX Support
49 / 91