Archive for 1月 2014

VMware集群常见硬件配置、架构说明

说明:本人接触虚拟化时间也不长,文中错误难免,仅作参考之用。

VMware为基础的云中心系统运用越来越多。简单来说,云中心包括硬件部分及软件部分,软件部分目前虚拟软件商有VMware、Hyper-v、Citrix。从市场占用来看还是VMware使用的最多。硬件部分为整个云中心的核心部分,只有一个配置合理、稳定的硬件平台,才能使VMware更好的发挥其性能。硬件部分包括CPU、内存、网卡、基础网络、存储。

1、CPU、内存、网卡

目前最常用的为机架式服务器或者刀片服务器。服务器中主要包含了以上所说的CPU、内存及网卡。如采用机架式服务器,一般新采购的都为4路服务器(即配置4颗物理CPU),如IBM X3850、DELL R910等,如下图:

vmware001

刀片服务器,一般采用IBM的BladeCenter或者HP刀片以及DELL的M1000E刀片,半高刀片一般配置2颗物理CPU,全高刀片一般配置4颗物理CPU。网卡机架服务器一般配置4块千兆网卡,如配置万兆则更好。刀片服务器网卡一般为模块化,如每个刀片服务器配置两块10GB万兆网卡,刀箱上使用直通模块,则对外端口与对内端口一一对应,网线或光纤直连即可,如下图所示:

vmware003

如是使用模块化交换机,则交换机有对内端口和对外端口,对内端口与刀处服务器的网卡相连(通过内部电路相连,看不到连线),对外端口则与上联的外部交换机相连即可,然后对内端口与对外端口作映射关系,以达到对内端口通过对外端口来访问外界的网络,如下图所示。

vmware005

 

2、网络

网络为整个云中心的基础架构,确保各个模块之间能够相互访问。一般分为以太网和SAN网络两种。以太网用于服务器与上层网络之间的连接,SAN网络用于服务器与光纤存储之间的连接。

以太网分为千兆和万兆两种。规模不大的虚拟化环境用千兆网络已足矣,如下图:

vmware008

但如果是规模相对较大的云建议使用万兆网络。如果存储与服务器的连接也是使用的ISCSI即走以太网网络的,则建议一定要使用万兆网络,以使服务器与存储间的速率尽量将瓶颈降到最低,如下图所示。

vmware009

SAN网络用于将服务器与光纤存储相连的网络,一般有4GB和8GB之分,目前新建的一般都为8GB速率。

 

3、存储

存储作为云中心的资源存放点,它的速度快慢直接会导致整个云中心的运行速度。目前常用的有SAN光纤存储及IPSAN存储。

SAN光纤存储通过光纤交换机与服务器的HBA相连,使之服务器可以认到存储的LUN,常用架构如下图所示。

vmware010

IPSAN存储则借助以太网来实现主机与存储间的访问。常见的有FCoE及ISCSI方式。速度有千兆、万兆之分。在实际中,建议将IP存储网络与主机以太网业务网络物理隔离,减少互相的影响,使系统更稳定,如下图所示。

vmware011

 

实际中遇到的几种架构:

1、机架服务器+SAN交换机+SAN存储+千兆核心交换机

服务器一般配置4块千兆物理网卡,两块用于管理网络及vMotion,另外两块用于业务网络,拓扑如下所示。

vmware013

 

2、刀片服务器+SAN存储+万兆核心交换机

刀片服务器上配置万兆以太网接口, 又配置SAN光纤交换机及HBA卡,一般刀箱上都会配置光纤交换机,刀箱上刀片服务器的HBA会直接通过内部线路与刀箱上的HBA卡通信,这样,光纤存储只要与刀箱上的光纤交换机相连接即可,如下图所示。

vmware016

 

3、机架服务器+IPSAN万兆存储+万兆核心交换机

机架服务器配置六个万兆以太网接口,两个用于VMware管理及vMotion,两个用于业务网络,两个用于存储IP网络。拓扑如下:

vmware015

 

4、刀片服务器+IPSAN万兆存储+万兆核心交换机

刀片服务器配置对外万兆SFP光纤接口,用于连接以太网业务网络及IP存储网络,如下图所示。

vmware017

HP C7000上的BL420c刀片安装ESXi5

打开刀片的KVM控制台,如下图,选择[Virtual Drives] –> [CD/DVD] –> [Virtual Image]

hpc7000-17

选择ESXi安装ISO文件,这里为HP定制版ESXi,如下图所示。

hpc7000-18

重启后,就直接进入ESXi的安装界面。

hpc7000-20

HP C7000初始化配置

HP C7000为模块化的刀片服务器,机箱高度10U,可以插16台半高的刀片服务器,如下图,即为插了8台刀片服务器。

hpc7000-1

刀箱后背箱可以插风扇、电源,以及I/O模块(包括网络、SAN交换机),以及用于管理刀片的OA模块。

hpc7000-2

将相应的模块(包括电源、风扇、I/0、刀片服务器)都插入刀箱后,开始对机箱进行上电工作,然后进行初始化配置工作。

1、配置OA(Onboard Administrator的缩写)管理地址

通过机箱前面的小液晶屏设置管理控制器OA的IP地址,先选中enclosure settings,设置OA 1 IP地址,因为本刀箱没有配置第二个OA管理卡,所以只需设置OA 1 IP即可,完成后,选择Accept All。如下图:

hpc7000-3

hpc7000-4

 

2、登陆刀箱管理,进行设置

将如下图的OA管理口与一台笔记本相连

hpc7000-5

然后在笔记本上打开IE浏览器,输入https://10.0.0.1,初始用户名密码在刀箱的卡片上有,进入后,就可以对刀箱的I/O模块进行设置。

hpc7000-6

hpc7000-7

 

3、配置刀片服务器的iLO4地址,用于管理刀片

将刀片服务器的八爪鱼与显示器键盘相连,然后将该刀片开机,当运行至如下图时,按F8进入刀处iLO4的配置

hpc7000-8

进入配置界面后,选择[Network] –> [DNS/DHCP],在DHCP Enable中变更为OFF,如下图所示

hpc7000-9

hpc7000-10

关闭DHCP后,在进入[Network] –> [NIC and TCP/IP],设置iLO4的管理IP,这里为10.0.0.112,如下图所示,完成 后,选择EXIT退出即可。

hpc7000-11

hpc7000-12

hpc7000-13

完成后,再次进入刀箱的管理界面,进入[Device Bays]菜单栏,就能看到8个刀片的选项,选择刚才设置iLO4的12号刀片,如下图,可以看到IP地址已为10.0.0.112,点击Remote Console就能打开该刀片的KVM界面。

hpc7000-15

该界面是依托JAVA程序来打开,所以管理计算机上需要有JAVA程序支持,打开后,就会出现如下图的界面,该界面即为刀片服务器的KVM界面。可用于RAID的设置、安装操作系统等之用。

hpc7000-16

在KVM界面中,也可以看到iLO 4的IP地址已经设置为10.0.0.112。

hpc7000-14