如何在裸金属服务器上，快速安装部署 SmartX 超融合套件社区版？

为了方便各位小伙伴快速在裸金属服务器上安装部署 SmartX 超融合套件社区版，我们特意整理了相关安装部署流程，供大家参考~

ELF 是 SMTX OS 内置的免费原生虚拟化服务，可与分布式块存储 ZBS 组成完整的超融合解决方案。

安装部署使用原生虚拟化 ELF 平台的 SMTX OS 集群时，SMTX OS 软件将直接安装在集群的服务器节点上，在所有节点安装完软件并实现集群初始化后，就可以对外提供 SMTX OS 自带的虚拟机服务和存储服务。

安装部署流程

安装部署使用 ELF 虚拟化平台的 SMTX OS 集群时，详细的部署流程如下图：

1. 安装前的准备

安装部署 SMTX OS 软件（使用 ELF 平台）前，必须提前向网络管理员申请集群的 IP 地址分配表，同时准备好待安装的镜像文件。

1.1. 规划 IP 地址

使用 ELF 平台部署时，每个服务器的节点至少需要规划两个 IP ：SMTX OS 管理 IP 和 SMTX OS 存储 IP 。如下图所示。

• SMTX OS 管理 IP : 设置在管理虚拟交换机上，通过千兆或以上速率的网卡连接到管理网络。

• SMTX OS 存储 IP : 设置在存储虚拟交换机上，通过万兆或以上速率的网卡连接到存储网络。

• 可选：如果服务器节点单独配置硬件管理 IP，则还需预留 IPMI 的 IP 地址。建议用户配置节点的硬件管理 IP。

下图为我们向网络管理员申请的完整的 IP 地址分配表。

各节点的 IP 地址分配需遵守以下规则：

• SMTX OS 管理 IP 和 SMTX OS 存储 IP 不能分配在同一网段。

• 集群各节点的 SMTX OS 存储 IP 之间可以正常通信。

• 集群各节点的 SMTX OS 管理 IP 之间可以正常通信。

1.2. 获取安装镜像文件

用户可以登录 SmartX 官网的社区总览中心(https://www.smartx.com/community/)，选择社区版产品版块，单击下载社区版产品，下载社区版的 SMTX OS 的 ISO 镜像文件和 CloudTower 安装程序（tar.gz 文件）。

2. 在集群的节点上安装 SMTX OS

通过浏览器访问每个节点的服务器硬件管理 IP 地址，检查 BIOS 设置，并远程安装 SMTX OS 软件。

前提条件

• 已获得整个集群完整的 IP 地址分配表，并且为每个节点已配置完服务器硬件管理 IP。

• 已获取 SMTX OS 系统的 ISO 镜像文件。

2.1. 检查 BIOS 设置

1. 打开浏览器，访问节点的服务器硬件管理 IP 地址，输入服务器带外管理软件的用户名和密码。选择登录。

说明：

• 服务器带外管理软件的用户名和密码由硬件服务商提供 。

2. 登录成功后，选择虚拟控制台，单击启动虚拟控制台，进入虚拟控制台界面。

3. 选择功率，在弹出的电源控制界面中，选择复位系统（热启动），重启服务器。

4. 在服务器启动过程中按 F2 键，选择系统设置。在弹出的 System Setup 界面，选择 System BIOS 。

5. 在 System BIOS Settings 选项中，选择 Processor Settings。检查并确认 CPU 的 Virtualization Technology 选项为 Enabled，确保启用 CPU 的虚拟化特性。

6. 单击 Back，重新进入 System BIOS Settings 界面。选择 System Profile Settings。

7. 在选择 System Profile Settings 界面中，检查并确认 System Profile 选项为 Performance。确保关闭电源的节能模式。

8. 单击 Back，回退到 System BIOS Settings 界面。选择保存 BIOS 的设置。

2.2. 挂载并安装镜像软件

1. 在虚拟控制台界面，选择连接虚拟介质。

2. 挂载 SMTX OS 的镜像文件。

在虚拟介质对话框的映射 CD/DVD 选项中，单击选择文件，挂载 SMTX OS 的镜像文件。挂载完成后单击映射设备。

3. 选择从虚拟光驱启动服务器。

在虚拟控制台界面，选择启动，并在开机控制选项中选择虚拟 CD/ DVD/ ISO，重新启动服务器。

4. 进入 SMTX OS 安装引导界面后，选择 Start Installation。

5. 选择引导盘安装启动分区。手动输入引导盘的磁盘名。

6. 选择一个或两个 SSD 盘作为系统盘。手动输入系统盘的磁盘名。

7. 安装 SMTX OS 系统。SMTX OS 安装是无人值守方式安装，整个安装过程大约十几分钟。

8. 安装完成后，服务器自动重启进入 SMTX OS 系统。

• 在部署集群之前，可以使用默认用户名 root，初始密码 smartx，登录 SMTX OS 节点。

3. 检查并设置部署的环境

当每个服务器节点安装完 SMTX OS 软件后，在正式部署集群前，需要设置管理和存储网络的网卡，以及管理网络的管理 IP 地址、子网掩码等。

1. 登录每个服务器节点的 SMTX OS 系统，确认并设置管理网络和存储网络的网卡、IP 地址和子网掩码等信息。

ⅰ.使用 root 账户登录 SMTX OS 系统，使用 cd /etc/sysconf ig/network-scripts/ 命令，进入配置文件访问路径。

ⅱ. 使用 ip a 和 ethtool network_card 命令，确认每个网卡的速率，以作为判断用于管理网络和存储网络的网卡。其中 network_card 表示实际网卡的名称。

• Speed 显示 1000Mb/s 及以上，表示该网卡可设置为管理网络的网卡。

• Speed 显示 10000Mb/s 及以上，表示该网卡可设置为存储网络的网卡。

ⅲ. 使用 vim /etc/sysconf ig/network-scripts/ifcfg-* 命令，分别修改管理网络和存储网络的⽹卡配置⽂件。其中*表示网卡名称。

• 修改 BOOTPROTO=dhcp 
  为 BOOTPROTO=static

• 修改 ONBOOT=no 为 ONBOOT=yes

• 对于管理网络的网卡配置文件，输入以下命令：

  IPADDR=SMTX_ManageIP_address
  NETMASK=SMTX_ManageIP_netmask
  GATEWAY=SMTX_ManageIP_gateway

其中 SMTX_ManageIP_address 、
SMTX_ManageIP_netmask
和 SMTX_ManageIP_gateway 为实际规划的 SMTX OS 管理IP 地址、子网掩码和网关。

• 对于存储网络的网卡配置文件，输入以下命令：

  IPADDR=SMTX_storageIP_address
  NETMASK=SMTX_storageIP_netmask
  

其中 SMTX_storageIP_address 
和 SMTX_storageIP_netmask 为实际规划的 SMTX OS 存储 IP 地址和子网掩码。

ⅳ. 输入 systemctl restart network 命令，重启服务。

2. 输入 systemctl status nginx ，确认 nginx 服务启动。

3. 输入 systemctl status zbs-deploy-server ，确认 zbs-deploy-server 服务启动。

4. 将所有节点时间统一调整为当前时间，否则可能因同一集群不同节点的时间设置不同步，而导致集群无法正常工作。可以在每个节点上使用 Linux 命令 date 进行调整，比如：date -s "2020-06-13 15:21:23"。

4. 部署 SMTX OS 集群

在每个服务器的节点上安装完 SMTX OS 软件后，开始部署集群，并完成初始化。

前提条件

• 在集群的所有服务器节点上已安装完 SMTX OS 软件。

• 存储网卡和管理网卡都已启动，且管理网卡已获取到 IPv4 或 IPv6 地址。

• 确保 nginx 服务和 zbs-deploy-server 服务已启动。

• 集群内所有节点的时间统一设置为当前时间。

开始部署

1. 在浏览器中输入集群中任意一台节点的管理 IP，进入集群配置界面。

2. 阅读软件产品安装协议，单击我已阅读并同意服务条款。

第 1 步：集群设置

在集群设置界面，输入集群的名称，系统默认选择 SMTX 虚拟机服务的部署架构。

单击扫描集群，进入下一步。

第 2 步：扫描集群

待扫描集群结束后，检查扫描结果。请确保集群里待部署的节点，均显示在扫描结果中。

第 3 步：配置主机

1.勾选待部署的节点，取消集群以外的其他节点的勾选。

• 系统最多勾选三台主机，此时我们应仅选择实际部署的节点来进行配置；对于不在集群里的节点，请取消勾选。
  
  

2.修改各节点对应的主机名，使其名称变得更有辨识度。

3. 单击配置存储。

第 4 步：配置存储

1. 选择采用分层模式。

• 分层：将速度更快的物理盘作为缓存盘，充分发挥硬件性能。比如，当集群中所有主机的磁盘都是 SSD 盘时，选择较快的 SSD 盘作为缓存盘，较慢的 SSD 盘作为数据盘。

• 不分层：无缓存盘。除了含有系统分区的物理盘，剩余的所有物理盘都作为数据盘使用。

2. 指定物理盘用途。

选择分层时，指定物理盘用途的原则如下：

• 每台主机应至少包含一个含有元数据分区的物理盘和一个数据盘。

• 某些磁盘允许用户为其指定用途，可通过单击磁盘后的下拉框重新进行指定；对于系统已推荐用途的磁盘，用户在改变时，系统会提出警示信息；对于由系统固定用途的磁盘，无法改变其用途。

选择不分层时：

• 除了含元数据分区的盘外，其他盘都会默认为数据盘。

• 某些磁盘允许用户为其指定用途，可通过单击磁盘后的下拉框重新进行指定，但无法设置为“缓存盘”。

• 对于由系统固定用途的磁盘，无法改变其用途。

单击配置网络，进入下一步。

第 5 步：配置网络

1. 根据规划的 IP 地址分配表，在配置集群网络界面，填写管理和存储网络的配置信息。

说明：

• 管理网络和存储网络的 VLAN ID：如果管理网络和存储网络没有规划 VLAN， 可以留空，默认值为 0。

• NTP 服务器：如果没有外部 NTP 服务器，可以选择使用集群内主机作为 NTP 服务器。

2. 分别为管理网络和存储网络创建虚拟分布式交换机。

以管理网络为例。单击管理网络的虚拟分布式交换机下的创建，在弹出的创建虚拟分布式交换机的对话框中，填写虚拟分布式交换机的名称，勾选关联的物理网口，最后单击创建，为管理网络创建虚拟分布式交换机。

参照以上步骤，为存储网络创建虚拟分布式交换机。

3. 单击检查配置，进入下一步。

第 6 步：检查配置

检查此前设置的各主机对应的物理盘用途，创建的管理网络和存储网络的虚拟分布式交换机信息，以及网络配置等信息。确认无误后，单击执行部署，开始部署集群。

第 7 步：执行部署

在执行部署界面，可看到每个主机部署的进度，也可以单击查看日志，查看部署的详细信息。

集群部署成功后，将显示如下界面。

5. 设置参数（部署成功后）

部署完 SMTX OS 集群后，还需要继续配置如下参数。

• 超级管理员密码

• IPMI 信息（可选）

前提条件

• 已成功部署 SMTX OS 集群。

5.1. 设置超级管理员密码

1. 在集群部署成功界面，单击开始部署后配置。

2. 输入超级管理员 root 的密码，并再次确认。

5.2. 设置 IPMI 信息（可选）

输入各主机 IPMI 的 IP、用户名和密码。

说明：

• 当需要设置比较多的 IPMI 信息时，可以在 IPMI 起始 IP 输入一个起始 IP，剩余的 IPMI IP 将以递增方式自动生成并填充。

• 批量设置用户名密码允许同时为多个 IPMI 设置相同的用户名和密码。

• 如果选择不设置 IPMI，则以下功能无法使用：

  ⅰ.机箱拓扑，包括主机和物理盘定位；

  ⅱ.物理盘闪灯；

  ⅲ.主机风扇、CPU 温度和电源监控。

如果单击跳过此步骤，后续可在 CloudTower 的设置 > 集群 > IPMI 信息中配置集群的 IPMI 信息。强烈建议用户配置 IPMI 信息。

6. 关联 CloudTower

SMTX OS 的管理服务由 CloudTower 提供。CloudTower 需安装运行在虚拟机内。在设置完 IPMI 信息后，系统将跳转至如下界面，开始关联 CloudTower。

1. 选择安装 CloudTower 环境或者使用已有的 CloudTower 环境。

• 已有 CloudTower 环境：若其他集群已部署 CloudTower，则建议选择此选项，后续在 CloudTower 中关联 SMTX OS 集群即可。

• 全新 CloudTower 环境：系统自动为 CloudTower 创建虚拟机，并启动安装 CloudTower。安装完后可以关联 SMTX OS 集群。

说明：

• 选择此项后，用户需登录 SmartX 官网的社区总览中心
  (https://www.smartx.com/community/)，
  选择社区版产品版块，单击获取社区版产品，提前下载 tar.gz 格式的 CloudTower 安装镜像文件。

2. 设置集群管理虚拟 IP 地址。设置集群的管理虚拟 IP 后，只要集群中存在至少一个主机可用，就能通过管理虚拟 IP 访问到集群的主机，从而保证集群的高可用性。

说明：

• 管理虚拟 IP 必须为当前网络内可访问的 IP 地址，建议和节点的管理 IP 在同一个子网内。比如和节点的主机在同一个网段内。

• 管理虚拟 IP 不能与现有的物理主机 IP 冲突，否则会造成服务异常。

• 集群的管理虚拟 IP 可以作为 RESTful API 调用的地址。

3. 单击下一步。

4. 可选：如果用户在步骤 1 选择全新 CloudTower 环境，则此处需要继续安装 CloudTower，否则此步骤可忽略。

ⅰ. 上传 CloudTower 的安装镜像。将本地 tar.gz 格式的 CloudTower 安装镜像拖曳至文件区域，或者单击选择文件，选择从本地上传文件。

ⅱ. 选择 CloudTower 环境的配置。

说明：

• 上图中 CloudTower 环境的配置选择低配、中配或高配，分别代表 CloudTower 最多可管理的资源数量，同时系统分配给部署 CloudTower 的虚拟机的 vCPU、内存容量和存储空间也将不同。

• 由于社区版 CloudTower 对管理的资源有明确的限制，此处无论选择何种配置（低配、中配或高配），社区版的 CloudTower 也只支持最多管理 3 个集群、9 台主机。

• CloudTower 支持从社区版升级至商业版，以提升资源管理能力。若用户未来可能将软件升级至 CloudTower 商业版，此处建议根据生产环境中的实际情况选择配置等级；若仅作为体验使用，此处建议选择低配。

ⅲ. 设置 CloudTower 的 IP 地址和子网掩码、网关信息。

说明：

• CloudTower 的 IP 地址必须与 SMTX OS (ELF) 集群的管理虚拟 IP 处于同一网段内。

ⅳ. 设置 CloudTower 的组织名称，以及超级管理员 root 的密码。

ⅴ. 单击下一步，开始安装 CloudTower。安装完成后，系统将弹出提示框，单击完成。15 秒后系统提示即将离开此网站，单击离开后将自动跳转至 CloudTower 环境。

5. 在 CloudTower 中关联 SMTX OS (ELF) 集群。

ⅰ. 在浏览器中输入 CloudTower 的 IP 地址，使用超级管理员 root 账户登录 CloudTower。

ⅱ. 在系统主界面选择集群页签，在右上角单击 + 关联集群，弹出关联集群对话框。

ⅲ. 在关联集群对话框中按照要求填写 SMTX OS (ELF) 集群的信息。完成后单击下一步。

• 集群管理虚拟 IP：填写集群的管理虚拟 IP。

• 管理员用户名：填写集群的超级管理员账户的用户名。

• 管理员密码：填写管理员账户对应的密码。

ⅳ. 单击下一步，开始加载集群的数据。连接集群成功后，确认关联集群的信息，包括集群的名称、管理虚拟 IP、软件版本、以及使用的虚拟化平台等信息。

ⅴ. 为集群选择所属的数据中心。也可以选择不加入任何数据中心。

说明：

• 用户可以在关联集群的确认关联集群阶段，直接创建新的数据中心，然后再将此集群加入该数据中心。

• 若用户此时选择不加入数据中心，在关联集群后，也可以在系统主界面创建一个新的数据中心，并重新选择加入。

ⅵ. 单击关联集群，成功将 CloudTower 与 SMTX OS (ELF) 集群完成关联。

关联 SMTX OS (ELF) 集群后，可选择集群的详情界面，并查看集群的告警信息。如果严重警告信息为 0，则表示 SMTX OS (ELF) 集群运行正常。

说明：

• SMTX OS 内嵌虚拟机服务，并为其提供了 SMTX 虚拟机工具，用户可直接单击下载链接
  (https://cm.smartx.com/share?code=e5032926-8ef5-4f25-91fd-e6047faa8ed7)
  获取此工具的安装 ISO 文件。关于虚拟机服务和虚拟机工具对 Guest OS 的支持与兼容性，请前往文档与视频
  (https://www.smartx.com/resource/)
  中心的实施与售后页签，下载并参考《 SMTX 虚拟机服务兼容性指南》。

推荐阅读：

点击阅读原文，了解 SmartX 超融合套件社区版以及 SmartX 用户社群。