老管网络日志 | funpower's blog

当ESXi主机的底层操作系统安装在SD卡上时，在vCenter中配置该主机时，会出现“主机xxx上的系统日志存储在非持久存储器中”。

ESXi产生的日志存储在SD卡上也会出现空间满的情况，所以最好的情况为将所有主机的日志都存储在共享存储上。

在共享存储上建立一个log文件夹，在文件夹下建立esxi03文件夹，用于存储第三台主机的日志文件。如下图操作所示。

打开主机的“高级设置”窗口

打开左边的“Syslog”选项，在Syslog.global.logDir中输入文件夹的路径地址，输入[SAS_Disk_Datastore_590G_02]/log/esxi03即可。

确定后，过会主机上的警告信息会自动消失，再查看文件夹，发现已经有日志产生了，如下图所示。

在配置vCenter时，如果管理网络只有一块网卡，主机就会出现”此主机当前没有管理网络冗余”的警告，如下图所示：

通过设置集群的属性可以去除此警告，右键鼠标选择“编辑设置”

选择vSphere HA，点击“高级选项”

在选项里输入das.ignoreRedundantNetWarning，值为true。

完成后，选择该主机，点右键，选择“重新配置HA”即可。

本案例为ESXi集群的一个例子，正如[VMware集群常见硬件配置、架构说明]说的，此架构应该为第4种安全，即“刀片服务器+IPSAN万兆存储+万兆核心交换机 ”。这里的刀片服务器为HP C7000，IPSAN万兆存储为DELL EQlogic，万兆存储交换机为华为S6700。

说明：该文档只会描述案例的整个架构，以及如何实现等，不会涉及详细的配置说明，如需了解请网上自行搜索相关设备的教程，具体内容如下：

一、案例概述

该案例主要搭建一套小型的私有云中心，以给需要计算资源的单位提供相应的服务。将硬件资源（刀片服务器、存储等）通过VMware的虚拟化软件来实现。

二、系统拓扑图

三、设备清单

1、刀片服务器

两台HP C7000刀片机箱，每机箱配置8个刀片服务器及四个VC模块，具体如下：

（1）HP C70000刀箱 * 2 
（2）BL420c刀片 * 8 （每刀片配置两颗CPU、128G内存、4个10GB以太网卡） 
（3）HP Virtual Connect FlexFabric 10Gb/24-port Module模块 * 4 
（4）其它（OA管理模块、电源、风扇等）

2、DELL EQlogic存储

存储共配置了6个盘柜，三个为高速盘柜（PS6110XV，双控制器、8G缓存、24× 600GB 15Krpm SAS热插拨硬盘），三个为低速盘柜（PS6110E，双控制器、8G缓存、24× 3TB 7.2Krpm NL-SAS热插拨硬盘）

（1）DELL EQLogic PS6110XV * 3 
（2）DELL EQLogic PS6110E * 3

3、华为S6700万兆交换机

共配置了两台，具体如下

（1）华为 S6700-48-EI * 2 （配置48个万兆SFP接口、支持三层交换）

4、虚拟化软件VMware

虚拟化软件采用的VMware vSphere 5.0 Enterprise，32个CPU授权（16个刀片，每刀片2个CPU）。

四、详细连线图

以太网业务网络和IP SAN网络都先连接至华为S6700万兆交换机上，业务网络核心交换机华为S9312再与S6700万兆交换机通过4根10GB光纤相连。各网络通过VLAN来隔离。刀片的VC模块多根线连接至S6700时，连接在S6700上的多个端口需要做端口聚合（华为交换机中称E-trunk）。

五、网络划分

在一个私有云中，不单有存储网络及业务网络，还有其它一些辅助的网络，如VMware管理网络、VMware vMotion网络、存储管理网络等。此次具体划分如下：

（1）VMware集群管理，IP：172.22.228.0/128，网关：172.22.228.1，VLAN ID：228 
（2）业务网络，IP：172.22.227.0/24，网关：172.22.227.1，VLAN ID：227 
（3）vMotion网络，IP：10.100.100.0/24，网关：无，VLAN ID：3000 
（4）Iscsi存储管理网络，IP：172.22.228.128/28，网关：172.22.228.129，VLAN ID：229 
（5）Iscsi存储业务网络，IP：10.200.88.0/22，网关：无，VLAN ID：3088

五、HP VC模块网络配置

从详细连接图中可看出，每个刀箱配置了四个VC模块，两个模块用于以太网连接，两个模块用于IP SAN连接。

在整个配置过程中，唯一与传统服务器不同的是网络的连接方式。传统服务器只需将网络接入服务器的物理网口即可。但本项目中HP刀片服务器使用了VC模块来接入网络。 
每台刀片服务器配置了2块双端口刀兆物理网卡，即有4个物理网口。每个物理网口需有一个VC模块来对应，VC模块如下图所示：

所以每个刀箱配置了4个VC模块。每个刀片的1个物理网口通过VC模块，可以虚拟出4个虚拟网口（4个虚拟网口总带宽仍为10GB），即4个物理网口可以虚拟出16个虚拟网口。虚拟的网口带宽可以随意分配，如1G+3G+3G+3G=10GB，当然也可以虚拟成三块，如1G+3G+6G=10G。 
刀片的4个物理网卡由两块双端口的卡组成，第一块接在主板上，称为LOM，第二块接入Mezz插槽，称为Mezz Slot1插槽。在VC中LOM网卡的第一块标记为LOM:1，第二块为LOM:2。Mezz Slot1在VC中第一块标记为Mezz1:1，第二块为Mezz1:2。如下图所示。

在VC中，每个物理端口都被分成了a、b、c、d四个虚拟网口，例如LOM:1网口就被虚拟成：LOM:1-a、LOM:1-b、LOM:1-c、LOM:1-d。其它三个网口以此类推，则16块虚拟网卡如下图所示。

我们知道，在VMware中，网卡的序号是vmnic0、vmnic1、 vmnic2这样顺序排下去的。在VC中，每个虚拟网卡如LOM:1-a也有一个序号。这三者之间的关系如下图所示。

在整个VMware集群中，网络分为管理网络、业务网络、vMotion网络及Iscsi存储网络。对应的带宽分配如下：

1、VMware管理网络，带宽1+1=2GB，VLAN ID：228 
2、业务网络，带宽6+6=12GB，VLAN ID：227 
3、vMotion网络，带宽3+3=6GB，VLAN ID：3000 
4、iSCSI存储网络，带宽10+10=20GB，VLAN ID：3088

VMware四部分网络对应刀片的网口划分如下图所示：

综合上面的对应表，即能得出本案例网卡对应表，如下：

六、DELL EQLogic存储规划、配置

共配置了6个盘柜，存储的网络划分成管理网络和存储网络两类，管理网络通过一个单独的交换机，将6个盘柜连接起来，网络地址为172.22.228.128/128。存储网络地址为10.200.88.0/22，存储服务地址为10.200.88.200/22。详细如下：

1、拓扑

两台华为的6700交换机，存储有两个控制器，接入规划为每个盘柜的控制器A接入第一台华为6700的交换机上，每个盘柜的控制器B接入第二台华为6700交换机上。如上图所示。

2、存储管理网络

（1）PS6110XV-1（高速柜1），管理IP：172.22.228.201/128，VLAN ID：229 
（2）PS6110XV-1（高速柜1），管理IP：172.22.228.202/128，VLAN ID：229 
（3）PS6110XV-1（高速柜1），管理IP：172.22.228.203/128，VLAN ID：229 
（4）PS6110E-1（低速柜1），管理IP：172.22.228.204/128，VLAN ID：229 
（5）PS6110E-1（低速柜1），管理IP：172.22.228.205/128，VLAN ID：229 
（6）PS6110E-1（低速柜1），管理IP：172.22.228.206/128，VLAN ID：229

3、存储业务网络

存储业务网络只有一个IP地址，为10.200.88.200/22，所有需要访问存储空间的设备只需访问该IP地址即可。

4、存储LAN划分规划

（1）高速盘

高速盘用于对数据读写要求高的分配，如虚拟机的操作系统等。

说明：划分分区时名称带有cluster1和cluster2，是因为VMware到时创建两个HA，8个ESXI刀片主机为一个HA，cluster1的lun只能让VMware的cluster1可以访问，cluster2只能让VMware的cluster2可以访问。

（2）低速盘

低速盘用于存储视频等大容量的空间应用。

5、存储管理

存储管理是通过WEB界面来管理，可以通过服务器10.200.88.200来管理，如https://10.200.88.200，也可以通过存储管理地址来访问，如172.22.228.201等地址。默认用户名密码为：grpadmin/password，进入后，就可以对存储进行管理。

六、华为万兆交换机规划、配置

两台华为交换机作为业务网络及存储网络的基础，起着十分重要的作用。交换机本身只作为二层交换机使用，通过VLAN来隔离不同的网络。

型号为华为S6700-48-EI，带有48个SFP万兆插槽、包转发率：715Mpps、交换容量：960Gbps。

在交换机上创建五个VLAN，227 228 229 3000 3088。

交换机端口连接、划分表：

1、VMware管理网络

S67000-01：11口（接HP C7000-01 VC01 X1口） 
S67000-01：19口（接HP C7000-02 VC01 X1口） 
S67000-02：11口（接HP C7000-01 VC03 X1口） 
S67000-02：19口（接HP C7000-02 VC03 X1口）

2、vMotion网络

S67000-01：12口（接HP C7000-01 VC01 X2口） 
S67000-01：20口（接HP C7000-02 VC01 X2口） 
S67000-02：12口（接HP C7000-01 VC03 X2口） 
S67000-02：20口（接HP C7000-02 VC03 X2口）

3、业务网络

S67000-01：13口（接HP C7000-01 VC01 X3口） 
S67000-01：14口（接HP C7000-01 VC01 X4口） 
S67000-01：15口（接HP C7000-02 VC01 X3口） 
S67000-01：16口（接HP C7000-02 VC01 X4口） 
S67000-02：13口（接HP C7000-01 VC03 X3口） 
S67000-02：14口（接HP C7000-01 VC03 X4口） 
S67000-02：15口（接HP C7000-02 VC03 X3口） 
S67000-02：16口（接HP C7000-02 VC03 X4口）

4、存储网络

S67000-01： 7口（接HP C7000-01 VC02 X1口） 
S67000-01： 8口（接HP C7000-01 VC02 X2口） 
S67000-01：17口（接HP C7000-01 VC02 X3口） 
S67000-01：18口（接HP C7000-01 VC02 X4口） 
S67000-01： 9口（接HP C7000-02 VC02 X1口） 
S67000-01：10口（接HP C7000-02 VC02 X2口） 
S67000-01：21口（接HP C7000-02 VC02 X3口） 
S67000-01：22口（接HP C7000-02 VC02 X4口） 
S67000-02： 7口（接HP C7000-01 VC04 X1口） 
S67000-02： 8口（接HP C7000-01 VC04 X2口） 
S67000-02：17口（接HP C7000-01 VC04 X3口） 
S67000-02：18口（接HP C7000-01 VC04 X4口） 
S67000-02： 9口（接HP C7000-02 VC04 X1口） 
S67000-02：10口（接HP C7000-02 VC04 X2口） 
S67000-02：21口（接HP C7000-02 VC04 X3口） 
S67000-02：22口（接HP C7000-02 VC04 X4口）

VMware管理网络及 vMotion网络都是VC上单线接入S6700交换机，所以S6700上不用做端口聚合。而业务网络和存储网络都是同一VC设备上多根接入S6700交换机，则需要做端口链路聚合。具体如下：

1、S6700-01交换机上的端口聚合列表：

（1）13、14口做成E-trunk 11，对应HP C7000-01 VC01 X3 X4两端口 
（2）15、16口做成E-trunk 13，对应HP C7000-02 VC01 X3 X4两端口 
（3）7、8、17、18口做成E-trunk 12，对应HP C7000-01 VC02 X1 X2 X3 X4四端口 
（4）9、10、21、22口做成E-trunk 14，对应HP C7000-02 VC02 X1 X2 X3 X4四端口 
（5）41、42、43、44口做成E-trunk 5，对应以太网核心S9312交换机的0-3四端口 
（6）47、48口做成E-trunk 30，对应S6700-02交换机的47、48两端口

2、S6700-02交换机上的端口聚合列表：

（1）13、14口做成E-trunk 11，对应HP C7000-01 VC03 X3 X4两端口 
（2）15、16口做成E-trunk 13，对应HP C7000-02 VC03 X3 X4两端口 
（3）7、8、17、18口做成E-trunk 12，对应HP C7000-01 VC04 X1 X2 X3 X4四端口 
（4）9、10、21、22口做成E-trunk 14，对应HP C7000-02 VC04 X1 X2 X3 X4四端口 
（5）41、42、43、44口做成E-trunk 6，对应以太网核心S9312交换机的4-7四端口 
（6）47、48口做成E-trunk 30，对应S6700-01交换机的47、48两端口

华为交换机端口聚合E-trunk配置举例：

interface Eth-Trunk11 
description to-hp-c7000-01-vc01-eth_x3x4_ethernet 
port link-type trunk 
port trunk allow-pass vlan 227 to 228 3000 
mode lacp-static 
# 
interface XGigabitEthernet0/0/13 
eth-trunk 11 
# 
interface XGigabitEthernet0/0/14 
eth-trunk 11 
#

七、VMware集群规划、配置

案例中共有ESXi主机16台，规划为第一个刀箱的前四个刀片与第二个刀箱的前四个刀片组成一个VMware HA，名称为Cluster1，第一个刀箱的后四个刀片与第二个刀箱的后四个刀片组成另一个HA，名称为Cluster2，增强冗余性，如下图所示。

1、集群概览

域：cloud.xxx.cn 
数据中心名称：DC1 
集群1名称：Cluster1 
集群1主机数：8台 
集群1资源：

集群2名称：Cluster2 
集群2主机数：8台 
集群2资源：

集群1、2存储资源：

集群1、2网络如下图，存储网络、VMware管理网络使用标准交换机，业务网络采用分布式交换机dvSwitch1。

2、集群网络配置

正如上面讲到的，每个刀片都会认到8个可用的网卡，如下图，为vmnic0、vmnic1、vmnic2、vmnic4、vmnic8、vmnic9、vmnic10、vmnic12，在集群网卡配置时，只需将当时规划好的网卡绑定在一起即可。如下：

（1）VMware管理网络：vmnic0、vmnic8 
（2）vMotion网络：vmnic4、vmnic12 
（3）业务网络：vmnic2、vmnic10 
（4）iSCSI存储网络：vmnic1、vmnic9

3、集群管理机规划、配置

案例中的管理机如域控、vCenter服务器都架设中虚拟机中，不单独使用物理机来架设。清单如下：

该案例整个架构及实现方式介绍就此结束，整个案例的复杂点应该是在HP的VC模块与VMware结合的配置。因接触也不深，文中难免有问题，仅供参考！

参考文章：

1、HP刀片服务器系统Flex-10 VC配置与VMware vSphere网络设计

2、Understanding HP Flex-10 Mappings with VMware ESX/vSphere

说明：本人接触虚拟化时间也不长，文中错误难免，仅作参考之用。

以VMware为基础的云中心系统运用越来越多。简单来说，云中心包括硬件部分及软件部分，软件部分目前虚拟软件商有VMware、Hyper-v、Citrix。从市场占用来看还是VMware使用的最多。硬件部分为整个云中心的核心部分，只有一个配置合理、稳定的硬件平台，才能使VMware更好的发挥其性能。硬件部分包括CPU、内存、网卡、基础网络、存储。

1、CPU、内存、网卡

目前最常用的为机架式服务器或者刀片服务器。服务器中主要包含了以上所说的CPU、内存及网卡。如采用机架式服务器，一般新采购的都为4路服务器（即配置4颗物理CPU），如IBM X3850、DELL R910等，如下图：

刀片服务器，一般采用IBM的BladeCenter或者HP刀片以及DELL的M1000E刀片，半高刀片一般配置2颗物理CPU，全高刀片一般配置4颗物理CPU。网卡机架服务器一般配置4块千兆网卡，如配置万兆则更好。刀片服务器网卡一般为模块化，如每个刀片服务器配置两块10GB万兆网卡，刀箱上使用直通模块，则对外端口与对内端口一一对应，网线或光纤直连即可，如下图所示：

如是使用模块化交换机，则交换机有对内端口和对外端口，对内端口与刀处服务器的网卡相连（通过内部电路相连，看不到连线），对外端口则与上联的外部交换机相连即可，然后对内端口与对外端口作映射关系，以达到对内端口通过对外端口来访问外界的网络，如下图所示。

2、网络

网络为整个云中心的基础架构，确保各个模块之间能够相互访问。一般分为以太网和SAN网络两种。以太网用于服务器与上层网络之间的连接，SAN网络用于服务器与光纤存储之间的连接。

以太网分为千兆和万兆两种。规模不大的虚拟化环境用千兆网络已足矣，如下图：

但如果是规模相对较大的云建议使用万兆网络。如果存储与服务器的连接也是使用的ISCSI即走以太网网络的，则建议一定要使用万兆网络，以使服务器与存储间的速率尽量将瓶颈降到最低，如下图所示。

SAN网络用于将服务器与光纤存储相连的网络，一般有4GB和8GB之分，目前新建的一般都为8GB速率。

3、存储

存储作为云中心的资源存放点，它的速度快慢直接会导致整个云中心的运行速度。目前常用的有SAN光纤存储及IPSAN存储。

SAN光纤存储通过光纤交换机与服务器的HBA相连，使之服务器可以认到存储的LUN，常用架构如下图所示。

IPSAN存储则借助以太网来实现主机与存储间的访问。常见的有FCoE及ISCSI方式。速度有千兆、万兆之分。在实际中，建议将IP存储网络与主机以太网业务网络物理隔离，减少互相的影响，使系统更稳定，如下图所示。

实际中遇到的几种架构：

1、机架服务器+SAN交换机+SAN存储+千兆核心交换机

服务器一般配置4块千兆物理网卡，两块用于管理网络及vMotion，另外两块用于业务网络，拓扑如下所示。

2、刀片服务器+SAN存储+万兆核心交换机

刀片服务器上配置万兆以太网接口， 又配置SAN光纤交换机及HBA卡，一般刀箱上都会配置光纤交换机，刀箱上刀片服务器的HBA会直接通过内部线路与刀箱上的HBA卡通信，这样，光纤存储只要与刀箱上的光纤交换机相连接即可，如下图所示。

3、机架服务器+IPSAN万兆存储+万兆核心交换机

机架服务器配置六个万兆以太网接口，两个用于VMware管理及vMotion，两个用于业务网络，两个用于存储IP网络。拓扑如下：

4、刀片服务器+IPSAN万兆存储+万兆核心交换机

刀片服务器配置对外万兆SFP光纤接口，用于连接以太网业务网络及IP存储网络，如下图所示。

打开刀片的KVM控制台，如下图，选择[Virtual Drives] –> [CD/DVD] –> [Virtual Image]

选择ESXi安装ISO文件，这里为HP定制版ESXi，如下图所示。

重启后，就直接进入ESXi的安装界面。

HP C7000为模块化的刀片服务器，机箱高度10U，可以插16台半高的刀片服务器，如下图，即为插了8台刀片服务器。

刀箱后背箱可以插风扇、电源，以及I/O模块（包括网络、SAN交换机），以及用于管理刀片的OA模块。

将相应的模块（包括电源、风扇、I/0、刀片服务器）都插入刀箱后，开始对机箱进行上电工作，然后进行初始化配置工作。

1、配置OA（Onboard Administrator的缩写）管理地址

通过机箱前面的小液晶屏设置管理控制器OA的IP地址，先选中enclosure settings，设置OA 1 IP地址，因为本刀箱没有配置第二个OA管理卡，所以只需设置OA 1 IP即可，完成后，选择Accept All。如下图：

2、登陆刀箱管理，进行设置

将如下图的OA管理口与一台笔记本相连

然后在笔记本上打开IE浏览器，输入https://10.0.0.1，初始用户名密码在刀箱的卡片上有，进入后，就可以对刀箱的I/O模块进行设置。

3、配置刀片服务器的iLO4地址，用于管理刀片

将刀片服务器的八爪鱼与显示器键盘相连，然后将该刀片开机，当运行至如下图时，按F8进入刀处iLO4的配置

进入配置界面后，选择[Network] –> [DNS/DHCP]，在DHCP Enable中变更为OFF，如下图所示

关闭DHCP后，在进入[Network] –> [NIC and TCP/IP]，设置iLO4的管理IP，这里为10.0.0.112，如下图所示，完成 后，选择EXIT退出即可。

完成后，再次进入刀箱的管理界面，进入[Device Bays]菜单栏，就能看到8个刀片的选项，选择刚才设置iLO4的12号刀片，如下图，可以看到IP地址已为10.0.0.112，点击Remote Console就能打开该刀片的KVM界面。

该界面是依托JAVA程序来打开，所以管理计算机上需要有JAVA程序支持，打开后，就会出现如下图的界面，该界面即为刀片服务器的KVM界面。可用于RAID的设置、安装操作系统等之用。

在KVM界面中，也可以看到iLO 4的IP地址已经设置为10.0.0.112。

今天碰到一个网络故障，说网络有延迟，时断时通，拓扑如下：

到达现场后，发现华为7703交换机的所有接口灯都在快闪，怀疑肯定为数据风暴，用CONSOLE登陆7703交换机，使用dis inter 查看每个端口的流量情况，上图中红圈的三个接口流量如下：

GigabitEthernet1/0/25 current state : UP
Last 300 seconds input rate 7888 bits/sec, 8 packets/sec
Last 300 seconds output rate 4428376 bits/sec, 6406 packets/sec
Input peak rate 643674664 bits/sec, Record time: 2013-11-01 18:07:09
Output peak rate 117703648 bits/sec, Record time: 2013-12-27 15:15:31

GigabitEthernet1/0/26 current state : UP
Last 300 seconds input rate 1837472 bits/sec, 855 packets/sec
Last 300 seconds output rate 5313232 bits/sec, 7230 packets/sec
Input peak rate 150745696 bits/sec, Record time: 2013-12-26 12:38:59
Output peak rate 106835632 bits/sec, Record time: 2013-12-26 12:38:57

GigabitEthernet1/0/27 current state : UP
Last 300 seconds input rate 64968 bits/sec, 58 packets/sec
Last 300 seconds output rate 4690120 bits/sec, 6614 packets/sec
Input peak rate 103824952 bits/sec, Record time: 2013-12-20 13:34:27
Output peak rate 446716152 bits/sec, Record time: 2013-12-27 14:57:26

上图红字可看出，三个端口的output流量都在每秒6000左右个数据包。从我之前写的input与output的理解一文可得出，每秒在向接在这三个端口上的服务器发送6000左右的数据包。确定为数据风暴了。

立即查找风暴的源头在哪里，查看华为7703的上联口流量：

XGigabitEthernet2/0/3 current state : UP
Last 300 seconds input rate 8796448 bits/sec, 8459 packets/sec
Last 300 seconds output rate 324280 bits/sec, 331 packets/sec

果然，从上红色字可看出，上联华为9312交换机每秒向华为7703交换机发送8000多个数据包，源头肯定在上华9312交换机上。

在CONSOLE登陆至9312上，使用DIS INTER 查看每个端口的流量，终于发现有个端口流量异常，如下红字所示，9312上的8/0/36口正在每秒接收到来自上联的华为3700交换机20万多个包。致使整个网络瘫痪。

[Center_S9312_01]dis interface g8/0/36
GigabitEthernet8/0/36 current state : UP
Line protocol current state : UP
Last 300 seconds input rate 154218808 bits/sec, 204973 packets/sec
Last 300 seconds output rate 93448 bits/sec, 94 packets/sec
Input peak rate 187223368 bits/sec, Record time: 2013-12-31 11:51:13
Output peak rate 1508304800 bits/sec, Record time: 2013-12-12 10:32:28

立即将8/0/36端口的光纤拔掉，网络立即恢复正常。

至于3700交换机哪个口有问题，也可以用DIS INTER然后通过查看端口的流量来判断。

securable（下载），可以查看你的电脑是否支持虚拟化。具体检测三项：CPU为64位还是32位，是否有DEP数据保护功能，是否支持虚拟化。

如果你的都和我的显示一样，如下图，那么就可以安装ESXi进行虚拟化实验（先安装VMware Workstion 10，然后安装ESXi即可）了。

今天进入Wordpress后台，发现可以升级为3.8，升级完发现后台界面大变样了。

WORD中第一页为封面时，一般都希望不显示页码，有好几种方法，自己发现的这种：双击第一页的页脚，然后在“设计”选项栏中，选择“首页不同”即可。如下图所示。