老管网络日志 | funpower's blog

本次想借着vSphere 6发布之际（正式版下载还没提供，目前只有RC版），写一下关于vSphere 6配置系列的文章，包括ESXi的安装、vCenter安装配置（独立数据库）、iSCSI配置、集群配置等。

—————————————————————————————————————————-
一、VMware vSphere 6(RC版)安装配置系列文章：

1、试用vSphere 6（一）：安装ESXi 6 RC版
2、试用vSphere 6（二）：使用vSphere Client 6.0管理ESXi主机
3、试用vSphere 6（三）：安装vCenter 6（独立数据库）之：域控服务器安装与配置
4、试用vSphere 6（三）：安装vCenter 6（独立数据库）之：数据库服务器安装与配置
5、试用vSphere 6（三）：安装vCenter 6（独立数据库）之：vCenter安装与配置
6、试用vSphere 6（四）：配置数据中心（添加ESXi主机、新建数据中心\集群等）
7、试用vSphere 6（五）：ESXi主机添加iSCSI存储
8、试用vSphere 6（六）：VCSA（6.0.0.2175370）的安装与配置

二、VMware vSphere 6 RC版下载

三、整个实验环境如下：

数据中心名称：DataCenter
ESXi集群名称：Cluster
域：vsphere6.local
业务网网络：192.168.232.0/24，网关：192.168.232.2
iSCSI网络：192.168.222.0/24
ESXi主机01：192.168.232.100，iSCSI网卡：192.168.222.100，主机名：esxi01
ESXi主机02：192.168.232.101，iSCSI网卡：192.168.222.101，主机名：esxi02
域控服务器01：192.168.232.201，主机名：dc01
域控服务器02：192.168.232.202，主机名：dc02
vCenter数据库服务器：192.168.232.203，主机名：vcdb
vCenter服务器：192.168.232.204，主机名：vCenter
iSCSI服务器：192.168.222.10

四、实验拓扑图：

—————————————————————————————————————————-

首先安装两台ESXi主机，ESXi的安装和5没有大的区别，直接按照提示安装即可，使用VMware-VMvisor-Installer-6.0.0-2159203.x86_64.iso镜像进行安装，如下图：

选择ESXi系统安装目标盘

按F11开始安装

安装完成后将自动重启

启动完成后如下图

按F2，输入root密码，选择Configure Management Network

选择配置IPv4

如下图，选择静态地址，然后输入规划好的ESXi主机的IP：192.168.232.100，完成后按回车。

至此，一台ESXi主机安装完成，另一台按照相同方法创建即可。

官网上已经发布了vSphere 6.0，但还没有提供下载。

vSphere 6.0新功能特性（新特性PPT下载）：

计算

• 更高的可扩展性 — 提升了最高配置限制 ：虚拟机可支持多 达 128 个虚拟 CPU (vCPU) 和 4 TB 虚拟 RAM (vRAM)。主机 将支持高达 480 个 CPU 和 6 TB RAM，每主机  1024 个虚拟 机，以及每集群 64 个节点。
• 范围更广的支持 — 扩大了对最新 x86 芯片组、设备、驱动 程序和客户操作系统的支持。有关受支持的客户操作系统的 完整列表，请参见 VMware 兼容性指南。
• 令人惊艳的图形处理 — NVIDIA GRID™ vGPU™ 能够为虚拟 化解决方案带来 NVIDIA 硬件加速图形的所有优势。
• 即时克隆* — 内置于 vSphere 6.0 中的技术，为快速克隆 和部署虚拟机打下了基础，其速度是当前可实现的速度的
10 倍之多。

存储

• 为您的虚拟机实现存储转型 — vSphere Virtual Volumes* 使 您的外部存储阵列能够识别虚拟机。基于存储策略的管理 (SPBM) 可允许跨存储层实现通用管理以及动态存储类服务 自动化。它们相互配合，可真正实现按虚拟机更加高效地实 例化数据服务（快照、克隆、远程复制、重复数据消除等） 的精确组合。

网络

• 网络 IO 控制 — 最新支持按虚拟机和分布式交换机进行带宽 预留，以保证最低服务级别。

可用性

• vMotion 增强功能 — 跨分布式交换机、vCenter Server 以及 远距离（往返时间长达 100 毫秒）无中断实时迁移工作负载。 远距离 vMotion 迁移使往返时间提高了 10 倍，这一成就令 人惊异。有了它，位于纽约和伦敦的数据中心就能够相互实 时迁移工作负载。
• 复制辅助的 vMotion  迁移* — 使在两个站点之间设置了 主动 – 主动式复制的客户能够执行更高效的 vMotion 迁移， 因而节约大量时间和资源 — 根据数据的大小，效率有可能 提高高达 95%。
• 容错功能（多达 4 个虚拟 CPU）— 使用高达 4 个虚拟 CPU
扩大了对基于软件的工作负载容错功能的支持。

管理

• 内容库 — 对包括虚拟机模板、ISO 映像和脚本在内的内容 进行简单高效管理的中央存储库。借助 vSphere 内容库，用 户现在可以从集中化位置存储和管理内容，以及通过发布 / 订阅模型共享内容。
• 跨 vCenter 进行克隆和迁移* — 只需一个操作即可在不同
vCenter Server 上的主机之间复制和移动虚拟机。
• 改进的用户界面 — Web Client 比以前响应更快、更直观并 且更简洁。

RouterOS是一款流行的路由操作系统，核心为Linux内核，安装在X86机器上，使普通的PC变成专来的路由器。

RouterOS也可以安装在虚拟化服务器上，以提供相应的服务。

首先将ISO镜像文件上传至本地，如下图，点击“浏览数据存储”，mikrotik-5.20-crack-MAC_wolf.iso上传至本地存储中。

完成后，开始新建虚拟机

选择自定义

版本选择“其它Linux(32位)”

虚拟设备节点选择“IDE(0:0)”

CD/DVD设备节点为选择刚才上传的RouterOS镜像文件，如下图

下面将进行ROUTEROS的安装，安装很简单，出现下图后，一般应用选择m（最小化安装）即可。然后选择“i”开始安装。

完成重启后，进入登陆界面。

默认用户名admin，密码为空，进入后提示无序列号，如下图

系统没有管理地址，可以通过MAC地址来进行管理，打开winbox管理软件

点击License

点击Import Key，选择KEY，导入

导入后，会提示重启系统，重启后即可进行相应配置。

一般RouterOS都会配置双网卡，当需要增加网卡时，只需在虚拟机的编辑设置中添加网卡即可。

其它配置RouterOS，只需配置（如接口IP、NAT转换、防火墙等）像物理机的系统一样配置即可。

DELL M620刀片服务器安装ESXi操作系统时出现了No Network Adapters，如下，即操作系统没有认到一块网卡，系统不能安装。

查找原因后发现，是因为原版的ESXi5.1.0安装程序不能认到DELL M620刀片的万兆网卡，所以出现了以上错误。只需使用DELL的ESXi定制版本的操作系统即可。

进入DELL M620 ESXi定制操作系统下载页面，下载VMware-VMvisor-Installer-5.1.0-799733.x86_64-Dell_Customized_RecoveryCD_A02.iso镜像。使用此镜像安装时就可以认出万兆网卡了。

说明：这里说到DELL ESXi定制版本的下载，其实只需更改几个字就能下载DELL其它型号的ESXi定制镜像，如现在DELL M620的下载地址为http://downloads-us.dell.com/Pages/Drivers/poweredge-M620-all.html#Enterprise%20Solutions，如果需要下载DELL R910服务器的定制镜像，只需将下载地址中的M620改成R910，即http://downloads-us.dell.com/Pages/Drivers/poweredge-R910-all.html#Enterprise%20Solutions。其它型号也一样修改即可。

本案例为ESXi集群的一个例子，正如[VMware集群常见硬件配置、架构说明]说的，此架构应该为第4种安全，即“刀片服务器+IPSAN万兆存储+万兆核心交换机 ”。这里的刀片服务器为HP C7000，IPSAN万兆存储为DELL EQlogic，万兆存储交换机为华为S6700。

说明：该文档只会描述案例的整个架构，以及如何实现等，不会涉及详细的配置说明，如需了解请网上自行搜索相关设备的教程，具体内容如下：

一、案例概述

该案例主要搭建一套小型的私有云中心，以给需要计算资源的单位提供相应的服务。将硬件资源（刀片服务器、存储等）通过VMware的虚拟化软件来实现。

二、系统拓扑图

三、设备清单

1、刀片服务器

两台HP C7000刀片机箱，每机箱配置8个刀片服务器及四个VC模块，具体如下：

（1）HP C70000刀箱 * 2 
（2）BL420c刀片 * 8 （每刀片配置两颗CPU、128G内存、4个10GB以太网卡） 
（3）HP Virtual Connect FlexFabric 10Gb/24-port Module模块 * 4 
（4）其它（OA管理模块、电源、风扇等）

2、DELL EQlogic存储

存储共配置了6个盘柜，三个为高速盘柜（PS6110XV，双控制器、8G缓存、24× 600GB 15Krpm SAS热插拨硬盘），三个为低速盘柜（PS6110E，双控制器、8G缓存、24× 3TB 7.2Krpm NL-SAS热插拨硬盘）

（1）DELL EQLogic PS6110XV * 3 
（2）DELL EQLogic PS6110E * 3

3、华为S6700万兆交换机

共配置了两台，具体如下

（1）华为 S6700-48-EI * 2 （配置48个万兆SFP接口、支持三层交换）

4、虚拟化软件VMware

虚拟化软件采用的VMware vSphere 5.0 Enterprise，32个CPU授权（16个刀片，每刀片2个CPU）。

四、详细连线图

以太网业务网络和IP SAN网络都先连接至华为S6700万兆交换机上，业务网络核心交换机华为S9312再与S6700万兆交换机通过4根10GB光纤相连。各网络通过VLAN来隔离。刀片的VC模块多根线连接至S6700时，连接在S6700上的多个端口需要做端口聚合（华为交换机中称E-trunk）。

五、网络划分

在一个私有云中，不单有存储网络及业务网络，还有其它一些辅助的网络，如VMware管理网络、VMware vMotion网络、存储管理网络等。此次具体划分如下：

（1）VMware集群管理，IP：172.22.228.0/128，网关：172.22.228.1，VLAN ID：228 
（2）业务网络，IP：172.22.227.0/24，网关：172.22.227.1，VLAN ID：227 
（3）vMotion网络，IP：10.100.100.0/24，网关：无，VLAN ID：3000 
（4）Iscsi存储管理网络，IP：172.22.228.128/28，网关：172.22.228.129，VLAN ID：229 
（5）Iscsi存储业务网络，IP：10.200.88.0/22，网关：无，VLAN ID：3088

五、HP VC模块网络配置

从详细连接图中可看出，每个刀箱配置了四个VC模块，两个模块用于以太网连接，两个模块用于IP SAN连接。

在整个配置过程中，唯一与传统服务器不同的是网络的连接方式。传统服务器只需将网络接入服务器的物理网口即可。但本项目中HP刀片服务器使用了VC模块来接入网络。 
每台刀片服务器配置了2块双端口刀兆物理网卡，即有4个物理网口。每个物理网口需有一个VC模块来对应，VC模块如下图所示：

所以每个刀箱配置了4个VC模块。每个刀片的1个物理网口通过VC模块，可以虚拟出4个虚拟网口（4个虚拟网口总带宽仍为10GB），即4个物理网口可以虚拟出16个虚拟网口。虚拟的网口带宽可以随意分配，如1G+3G+3G+3G=10GB，当然也可以虚拟成三块，如1G+3G+6G=10G。 
刀片的4个物理网卡由两块双端口的卡组成，第一块接在主板上，称为LOM，第二块接入Mezz插槽，称为Mezz Slot1插槽。在VC中LOM网卡的第一块标记为LOM:1，第二块为LOM:2。Mezz Slot1在VC中第一块标记为Mezz1:1，第二块为Mezz1:2。如下图所示。

在VC中，每个物理端口都被分成了a、b、c、d四个虚拟网口，例如LOM:1网口就被虚拟成：LOM:1-a、LOM:1-b、LOM:1-c、LOM:1-d。其它三个网口以此类推，则16块虚拟网卡如下图所示。

我们知道，在VMware中，网卡的序号是vmnic0、vmnic1、 vmnic2这样顺序排下去的。在VC中，每个虚拟网卡如LOM:1-a也有一个序号。这三者之间的关系如下图所示。

在整个VMware集群中，网络分为管理网络、业务网络、vMotion网络及Iscsi存储网络。对应的带宽分配如下：

1、VMware管理网络，带宽1+1=2GB，VLAN ID：228 
2、业务网络，带宽6+6=12GB，VLAN ID：227 
3、vMotion网络，带宽3+3=6GB，VLAN ID：3000 
4、iSCSI存储网络，带宽10+10=20GB，VLAN ID：3088

VMware四部分网络对应刀片的网口划分如下图所示：

综合上面的对应表，即能得出本案例网卡对应表，如下：

六、DELL EQLogic存储规划、配置

共配置了6个盘柜，存储的网络划分成管理网络和存储网络两类，管理网络通过一个单独的交换机，将6个盘柜连接起来，网络地址为172.22.228.128/128。存储网络地址为10.200.88.0/22，存储服务地址为10.200.88.200/22。详细如下：

1、拓扑

两台华为的6700交换机，存储有两个控制器，接入规划为每个盘柜的控制器A接入第一台华为6700的交换机上，每个盘柜的控制器B接入第二台华为6700交换机上。如上图所示。

2、存储管理网络

（1）PS6110XV-1（高速柜1），管理IP：172.22.228.201/128，VLAN ID：229 
（2）PS6110XV-1（高速柜1），管理IP：172.22.228.202/128，VLAN ID：229 
（3）PS6110XV-1（高速柜1），管理IP：172.22.228.203/128，VLAN ID：229 
（4）PS6110E-1（低速柜1），管理IP：172.22.228.204/128，VLAN ID：229 
（5）PS6110E-1（低速柜1），管理IP：172.22.228.205/128，VLAN ID：229 
（6）PS6110E-1（低速柜1），管理IP：172.22.228.206/128，VLAN ID：229

3、存储业务网络

存储业务网络只有一个IP地址，为10.200.88.200/22，所有需要访问存储空间的设备只需访问该IP地址即可。

4、存储LAN划分规划

（1）高速盘

高速盘用于对数据读写要求高的分配，如虚拟机的操作系统等。

说明：划分分区时名称带有cluster1和cluster2，是因为VMware到时创建两个HA，8个ESXI刀片主机为一个HA，cluster1的lun只能让VMware的cluster1可以访问，cluster2只能让VMware的cluster2可以访问。

（2）低速盘

低速盘用于存储视频等大容量的空间应用。

5、存储管理

存储管理是通过WEB界面来管理，可以通过服务器10.200.88.200来管理，如https://10.200.88.200，也可以通过存储管理地址来访问，如172.22.228.201等地址。默认用户名密码为：grpadmin/password，进入后，就可以对存储进行管理。

六、华为万兆交换机规划、配置

两台华为交换机作为业务网络及存储网络的基础，起着十分重要的作用。交换机本身只作为二层交换机使用，通过VLAN来隔离不同的网络。

型号为华为S6700-48-EI，带有48个SFP万兆插槽、包转发率：715Mpps、交换容量：960Gbps。

在交换机上创建五个VLAN，227 228 229 3000 3088。

交换机端口连接、划分表：

1、VMware管理网络

S67000-01：11口（接HP C7000-01 VC01 X1口） 
S67000-01：19口（接HP C7000-02 VC01 X1口） 
S67000-02：11口（接HP C7000-01 VC03 X1口） 
S67000-02：19口（接HP C7000-02 VC03 X1口）

2、vMotion网络

S67000-01：12口（接HP C7000-01 VC01 X2口） 
S67000-01：20口（接HP C7000-02 VC01 X2口） 
S67000-02：12口（接HP C7000-01 VC03 X2口） 
S67000-02：20口（接HP C7000-02 VC03 X2口）

3、业务网络

S67000-01：13口（接HP C7000-01 VC01 X3口） 
S67000-01：14口（接HP C7000-01 VC01 X4口） 
S67000-01：15口（接HP C7000-02 VC01 X3口） 
S67000-01：16口（接HP C7000-02 VC01 X4口） 
S67000-02：13口（接HP C7000-01 VC03 X3口） 
S67000-02：14口（接HP C7000-01 VC03 X4口） 
S67000-02：15口（接HP C7000-02 VC03 X3口） 
S67000-02：16口（接HP C7000-02 VC03 X4口）

4、存储网络

S67000-01： 7口（接HP C7000-01 VC02 X1口） 
S67000-01： 8口（接HP C7000-01 VC02 X2口） 
S67000-01：17口（接HP C7000-01 VC02 X3口） 
S67000-01：18口（接HP C7000-01 VC02 X4口） 
S67000-01： 9口（接HP C7000-02 VC02 X1口） 
S67000-01：10口（接HP C7000-02 VC02 X2口） 
S67000-01：21口（接HP C7000-02 VC02 X3口） 
S67000-01：22口（接HP C7000-02 VC02 X4口） 
S67000-02： 7口（接HP C7000-01 VC04 X1口） 
S67000-02： 8口（接HP C7000-01 VC04 X2口） 
S67000-02：17口（接HP C7000-01 VC04 X3口） 
S67000-02：18口（接HP C7000-01 VC04 X4口） 
S67000-02： 9口（接HP C7000-02 VC04 X1口） 
S67000-02：10口（接HP C7000-02 VC04 X2口） 
S67000-02：21口（接HP C7000-02 VC04 X3口） 
S67000-02：22口（接HP C7000-02 VC04 X4口）

VMware管理网络及 vMotion网络都是VC上单线接入S6700交换机，所以S6700上不用做端口聚合。而业务网络和存储网络都是同一VC设备上多根接入S6700交换机，则需要做端口链路聚合。具体如下：

1、S6700-01交换机上的端口聚合列表：

（1）13、14口做成E-trunk 11，对应HP C7000-01 VC01 X3 X4两端口 
（2）15、16口做成E-trunk 13，对应HP C7000-02 VC01 X3 X4两端口 
（3）7、8、17、18口做成E-trunk 12，对应HP C7000-01 VC02 X1 X2 X3 X4四端口 
（4）9、10、21、22口做成E-trunk 14，对应HP C7000-02 VC02 X1 X2 X3 X4四端口 
（5）41、42、43、44口做成E-trunk 5，对应以太网核心S9312交换机的0-3四端口 
（6）47、48口做成E-trunk 30，对应S6700-02交换机的47、48两端口

2、S6700-02交换机上的端口聚合列表：

（1）13、14口做成E-trunk 11，对应HP C7000-01 VC03 X3 X4两端口 
（2）15、16口做成E-trunk 13，对应HP C7000-02 VC03 X3 X4两端口 
（3）7、8、17、18口做成E-trunk 12，对应HP C7000-01 VC04 X1 X2 X3 X4四端口 
（4）9、10、21、22口做成E-trunk 14，对应HP C7000-02 VC04 X1 X2 X3 X4四端口 
（5）41、42、43、44口做成E-trunk 6，对应以太网核心S9312交换机的4-7四端口 
（6）47、48口做成E-trunk 30，对应S6700-01交换机的47、48两端口

华为交换机端口聚合E-trunk配置举例：

interface Eth-Trunk11 
description to-hp-c7000-01-vc01-eth_x3x4_ethernet 
port link-type trunk 
port trunk allow-pass vlan 227 to 228 3000 
mode lacp-static 
# 
interface XGigabitEthernet0/0/13 
eth-trunk 11 
# 
interface XGigabitEthernet0/0/14 
eth-trunk 11 
#

七、VMware集群规划、配置

案例中共有ESXi主机16台，规划为第一个刀箱的前四个刀片与第二个刀箱的前四个刀片组成一个VMware HA，名称为Cluster1，第一个刀箱的后四个刀片与第二个刀箱的后四个刀片组成另一个HA，名称为Cluster2，增强冗余性，如下图所示。

1、集群概览

域：cloud.xxx.cn 
数据中心名称：DC1 
集群1名称：Cluster1 
集群1主机数：8台 
集群1资源：

集群2名称：Cluster2 
集群2主机数：8台 
集群2资源：

集群1、2存储资源：

集群1、2网络如下图，存储网络、VMware管理网络使用标准交换机，业务网络采用分布式交换机dvSwitch1。

2、集群网络配置

正如上面讲到的，每个刀片都会认到8个可用的网卡，如下图，为vmnic0、vmnic1、vmnic2、vmnic4、vmnic8、vmnic9、vmnic10、vmnic12，在集群网卡配置时，只需将当时规划好的网卡绑定在一起即可。如下：

（1）VMware管理网络：vmnic0、vmnic8 
（2）vMotion网络：vmnic4、vmnic12 
（3）业务网络：vmnic2、vmnic10 
（4）iSCSI存储网络：vmnic1、vmnic9

3、集群管理机规划、配置

案例中的管理机如域控、vCenter服务器都架设中虚拟机中，不单独使用物理机来架设。清单如下：

该案例整个架构及实现方式介绍就此结束，整个案例的复杂点应该是在HP的VC模块与VMware结合的配置。因接触也不深，文中难免有问题，仅供参考！

参考文章：

1、HP刀片服务器系统Flex-10 VC配置与VMware vSphere网络设计

2、Understanding HP Flex-10 Mappings with VMware ESX/vSphere

打开刀片的KVM控制台，如下图，选择[Virtual Drives] –> [CD/DVD] –> [Virtual Image]

选择ESXi安装ISO文件，这里为HP定制版ESXi，如下图所示。

重启后，就直接进入ESXi的安装界面。

我们知道VMware的序列号是按照CPU个数来划分。当一台主机有4个CPU，那么就需要一个支持4CPU的序列号，但如果你拿到是四个序列号，每个序列号支持1个CPU，那么你就要在VMware后台中将这四个CPU合并成一个支持4CPU的序列号。相反，如果你有四台服务器，每台服务器都是一个CPU，而VMware又给了你一个支持4CPU的序列号，就需在后台中将这个序列号拆分成4个序列号，每个序列号支持1个CPU。

目前这个例子即为：VMware给了8个序列号，每个序列号支持1个CPU，而我的服务器只有两台，每台服务器4颗CPU，那么我就要将8个序列号合并成两个序列号，每个序列号支持4个CPU即可。操作如下：

登陆VMware后台管理，将8个主机序列号及一个vCenter序列号输入进后台，如下图所示，红框中就显示了共有8个Licenses，8 CPU(s)的支持。

点击上图红框中的vSphere 5 Enterprise，就能看到8个序列号的详细信息，如下图：

接下来开始序列号的合并工作，合并成两个序列号，每个序列号支持4CPU，下图中I want to下拉菜单中选择Combine License Keys

点击后，在刚才的序列号的前面就会出现一个“复选框”，如下图红框中所示，选择需要合并的前面四个序列号，再点击“Continue”。

在I have read and understand this warning复选框上打钩，点击Confirm。

点击Confirm后，在右边就会生成一个新的支持4CPU的序列号。

还有四个CPU使用相同的方法进行合并即可。完成后，如下图看到的，Licenses的数量变成了2个，但是CPU的支持数还是8个。

如果是拆分，那么只要在下拉菜单中选择“Divide License Keys”即可。

然后再选择第一个支持4CPU的序列号，点击确定就进入拆分界面了，如下图所示，拆分可以拆成2个、3个、4个序列号，根据自己的需要选择即可。其它都和上面的合并操作一样。

原先上传文件至ESXi主机上时，都是先在主机上开启SSH服务(主机->配置->安全配置文件->服务属性)，再通过SecureFX将文件上传至ESXi主机上。

最近知道了另一个简单的方法，可以不用开户SSH服务直接上传， 简要步骤如下：

选择某一ESXi主机，这里为192.1.100.77，再依次点击右边的“配置->存储器”，选中需要上传文件的LUN，这里为“VMFS02”，点击右键，选择“浏览数据存储(B)…”，如下图所示：

弹出如下的窗口后，点击红框的按扭，即为上传按扭：

选择要上传的文件，点击确定，如下图就开始上传了。

准备在一台IBM X3850 X5上安装虚拟化软件ESXi 5.1.0 update1，竟然安装失败，卡在了安装界面上，如下图所示，在Relocating modules and starting up the kernel …界面后就卡住了,开始以为是ESXi版本问题，或者是BIOS设置问题，试过后都没用。

查找了相关网上资料，基本都没碰到此问题，有说关闭UEFI，还有是升级微码等。后来竟然通过插U盘，用USB启动的方式就能安装成功。

有网友如碰到和我相同的情况，可以试下用U盘安装操作系统。

ESXi for IBM 5.1.0 update1

ESXi for HP 5.1.0

ESXi for Cisco 5.1.0 update1

更多ESXi OEM ISO。