Archive for 2月 2014

耳机品牌

耳机都这么贵!

1、森海塞尔

2、AKG

3、铁三角

4、Beats

各云盘单个文件上传限制表

yunfile

安装SSO时出现“错误29120,数据库架构已存在”的错误

SSO数据库安装在一台独立的虚拟机上,在另一台虚拟机上安装SSO时出现了如下的错误:

yjs28

之前在建立SSO数据库时,依次执行了vCenter安装文件中的Single Sign On\DBScripts\SSOServer\schema\mssql\目录下的rsaIMSLiteMSSQLSetupTablespaces.sql、rsaIMSLiteMSSQLSetupUsers.sql和rsaIMSLiteMSSQLCreateSchema.sql这三个SQL脚本。

查找资料后发现,很多人只执行了rsaIMSLiteMSSQLSetupTablespaces.sql和rsaIMSLiteMSSQLSetupUsers.sql这两个脚本,没有执行rsaIMSLiteMSSQLCreateSchema.sql脚本。立即将SSO数据库删除然后重建,脚本也只执行前面两个,再次运行SSO安装程序,可以顺利安装。

DELL M620刀片安装ESXi时出现No Network Adapters错误

DELL M620刀片服务器安装ESXi操作系统时出现了No Network Adapters,如下,即操作系统没有认到一块网卡,系统不能安装。

yjs27

查找原因后发现,是因为原版的ESXi5.1.0安装程序不能认到DELL M620刀片的万兆网卡,所以出现了以上错误。只需使用DELL的ESXi定制版本的操作系统即可。

进入DELL M620 ESXi定制操作系统下载页面下载VMware-VMvisor-Installer-5.1.0-799733.x86_64-Dell_Customized_RecoveryCD_A02.iso镜像。使用此镜像安装时就可以认出万兆网卡了。

说明:这里说到DELL ESXi定制版本的下载,其实只需更改几个字就能下载DELL其它型号的ESXi定制镜像,如现在DELL M620的下载地址为http://downloads-us.dell.com/Pages/Drivers/poweredge-M620-all.html#Enterprise%20Solutions,如果需要下载DELL R910服务器的定制镜像,只需将下载地址中的M620改成R910,即http://downloads-us.dell.com/Pages/Drivers/poweredge-R910-all.html#Enterprise%20Solutions。其它型号也一样修改即可。

JAVA“无法启动该应用程序”的解决办法

在通过浏览器来管理DELL M1000刀片时,当需要通过虚拟控制台来管理刀片时,会调用JAVA程序。今天发现在调用时竟然出现了如下的错误,“无法启动该应用程序”,如下:

yjs25

是因为JAVA的安全设置问题,进入C:\Program Files (x86)\Java\jre7\bin,打开javacpl.exe,将安全级别设置为“中”即可。

yjs26

去除“主机XXX上的系统日志存储在非持久存储器中”的警告

当ESXi主机的底层操作系统安装在SD卡上时,在vCenter中配置该主机时,会出现“主机xxx上的系统日志存储在非持久存储器中”。

yjs19

ESXi产生的日志存储在SD卡上也会出现空间满的情况,所以最好的情况为将所有主机的日志都存储在共享存储上。

在共享存储上建立一个log文件夹,在文件夹下建立esxi03文件夹,用于存储第三台主机的日志文件。如下图操作所示。

yjs23

yjs20

打开主机的“高级设置”窗口

yjs21

打开左边的“Syslog”选项,在Syslog.global.logDir中输入文件夹的路径地址,输入[SAS_Disk_Datastore_590G_02]/log/esxi03即可。

yjs22

确定后,过会主机上的警告信息会自动消失,再查看文件夹,发现已经有日志产生了,如下图所示。

yjs24

vCenter上解决”此主机当前没有管理网络冗余“的警告

在配置vCenter时,如果管理网络只有一块网卡,主机就会出现”此主机当前没有管理网络冗余”的警告,如下图所示:

yjs15

通过设置集群的属性可以去除此警告,右键鼠标选择“编辑设置”

yjs16

选择vSphere HA,点击“高级选项”

yjs17

在选项里输入das.ignoreRedundantNetWarning,值为true。

yjs18

完成后,选择该主机,点右键,选择“重新配置HA”即可。

ESXi集群配置一例(HP C7000+DELL EQlogic+HUAWEI 6700)

本案例为ESXi集群的一个例子,正如[VMware集群常见硬件配置、架构说明]说的,此架构应该为第4种安全,即“刀片服务器+IPSAN万兆存储+万兆核心交换机 ”。这里的刀片服务器为HP C7000,IPSAN万兆存储为DELL EQlogic,万兆存储交换机为华为S6700。

说明:该文档只会描述案例的整个架构,以及如何实现等,不会涉及详细的配置说明,如需了解请网上自行搜索相关设备的教程,具体内容如下:

一、案例概述

该案例主要搭建一套小型的私有云中心,以给需要计算资源的单位提供相应的服务。将硬件资源(刀片服务器、存储等)通过VMware的虚拟化软件来实现。

二、系统拓扑图

yjs01

三、设备清单

1、刀片服务器

两台HP C7000刀片机箱,每机箱配置8个刀片服务器及四个VC模块,具体如下:

(1)HP C70000刀箱 * 2 
(2)BL420c刀片 * 8 (每刀片配置两颗CPU、128G内存、4个10GB以太网卡) 
(3)HP Virtual Connect FlexFabric 10Gb/24-port Module模块 * 4 
(4)其它(OA管理模块、电源、风扇等)

hpc7000-1 hpc7000-2

2、DELL EQlogic存储

存储共配置了6个盘柜,三个为高速盘柜(PS6110XV,双控制器、8G缓存、24× 600GB 15Krpm SAS热插拨硬盘),三个为低速盘柜(PS6110E,双控制器、8G缓存、24× 3TB 7.2Krpm NL-SAS热插拨硬盘)

(1)DELL EQLogic PS6110XV * 3 
(2)DELL EQLogic PS6110E * 3

3、华为S6700万兆交换机

共配置了两台,具体如下

(1)华为 S6700-48-EI * 2 (配置48个万兆SFP接口、支持三层交换)

4、虚拟化软件VMware

虚拟化软件采用的VMware vSphere 5.0 Enterprise,32个CPU授权(16个刀片,每刀片2个CPU)。

四、详细连线图

yjs02small

以太网业务网络和IP SAN网络都先连接至华为S6700万兆交换机上,业务网络核心交换机华为S9312再与S6700万兆交换机通过4根10GB光纤相连。各网络通过VLAN来隔离。刀片的VC模块多根线连接至S6700时,连接在S6700上的多个端口需要做端口聚合(华为交换机中称E-trunk)。

五、网络划分

在一个私有云中,不单有存储网络及业务网络,还有其它一些辅助的网络,如VMware管理网络、VMware vMotion网络、存储管理网络等。此次具体划分如下:

(1)VMware集群管理,IP:172.22.228.0/128,网关:172.22.228.1,VLAN ID:228 
(2)业务网络,IP:172.22.227.0/24,网关:172.22.227.1,VLAN ID:227 
(3)vMotion网络,IP:10.100.100.0/24,网关:无,VLAN ID:3000 
(4)Iscsi存储管理网络,IP:172.22.228.128/28,网关:172.22.228.129,VLAN ID:229 
(5)Iscsi存储业务网络,IP:10.200.88.0/22,网关:无,VLAN ID:3088

五、HP VC模块网络配置

从详细连接图中可看出,每个刀箱配置了四个VC模块,两个模块用于以太网连接,两个模块用于IP SAN连接。

在整个配置过程中,唯一与传统服务器不同的是网络的连接方式。传统服务器只需将网络接入服务器的物理网口即可。但本项目中HP刀片服务器使用了VC模块来接入网络。 
每台刀片服务器配置了2块双端口刀兆物理网卡,即有4个物理网口。每个物理网口需有一个VC模块来对应,VC模块如下图所示:

yjs03

所以每个刀箱配置了4个VC模块。每个刀片的1个物理网口通过VC模块,可以虚拟出4个虚拟网口(4个虚拟网口总带宽仍为10GB),即4个物理网口可以虚拟出16个虚拟网口。虚拟的网口带宽可以随意分配,如1G+3G+3G+3G=10GB,当然也可以虚拟成三块,如1G+3G+6G=10G。 
刀片的4个物理网卡由两块双端口的卡组成,第一块接在主板上,称为LOM,第二块接入Mezz插槽,称为Mezz Slot1插槽。在VC中LOM网卡的第一块标记为LOM:1,第二块为LOM:2。Mezz Slot1在VC中第一块标记为Mezz1:1,第二块为Mezz1:2。如下图所示。

yjs04

在VC中,每个物理端口都被分成了a、b、c、d四个虚拟网口,例如LOM:1网口就被虚拟成:LOM:1-a、LOM:1-b、LOM:1-c、LOM:1-d。其它三个网口以此类推,则16块虚拟网卡如下图所示。

yjs05

我们知道,在VMware中,网卡的序号是vmnic0、vmnic1、 vmnic2这样顺序排下去的。在VC中,每个虚拟网卡如LOM:1-a也有一个序号。这三者之间的关系如下图所示。

yjs06

在整个VMware集群中,网络分为管理网络、业务网络、vMotion网络及Iscsi存储网络。对应的带宽分配如下:

1、VMware管理网络,带宽1+1=2GB,VLAN ID:228 
2、业务网络,带宽6+6=12GB,VLAN ID:227 
3、vMotion网络,带宽3+3=6GB,VLAN ID:3000 
4、iSCSI存储网络,带宽10+10=20GB,VLAN ID:3088

VMware四部分网络对应刀片的网口划分如下图所示:

yjs07

综合上面的对应表,即能得出本案例网卡对应表,如下:

yjs08

六、DELL EQLogic存储规划、配置

共配置了6个盘柜,存储的网络划分成管理网络和存储网络两类,管理网络通过一个单独的交换机,将6个盘柜连接起来,网络地址为172.22.228.128/128。存储网络地址为10.200.88.0/22,存储服务地址为10.200.88.200/22。详细如下:

1、拓扑

yjs09

两台华为的6700交换机,存储有两个控制器,接入规划为每个盘柜的控制器A接入第一台华为6700的交换机上,每个盘柜的控制器B接入第二台华为6700交换机上。如上图所示。

2、存储管理网络

(1)PS6110XV-1(高速柜1),管理IP:172.22.228.201/128,VLAN ID:229 
(2)PS6110XV-1(高速柜1),管理IP:172.22.228.202/128,VLAN ID:229 
(3)PS6110XV-1(高速柜1),管理IP:172.22.228.203/128,VLAN ID:229 
(4)PS6110E-1(低速柜1),管理IP:172.22.228.204/128,VLAN ID:229 
(5)PS6110E-1(低速柜1),管理IP:172.22.228.205/128,VLAN ID:229 
(6)PS6110E-1(低速柜1),管理IP:172.22.228.206/128,VLAN ID:229

3、存储业务网络

存储业务网络只有一个IP地址,为10.200.88.200/22,所有需要访问存储空间的设备只需访问该IP地址即可。

4、存储LAN划分规划

(1)高速盘

高速盘用于对数据读写要求高的分配,如虚拟机的操作系统等。

序号

分区名称 分区大小 盘类型 用途

1

Cluster1-EQL_Datastore01

800GB

高速盘

虚拟机创建

2

Cluster1-EQL_Datastore02

800GB

高速盘

虚拟机创建

3

Cluster1-EQL_Datastore03

800GB

高速盘

虚拟机创建

4

Cluster1-EQL_Datastore04

800GB

高速盘

虚拟机创建

5

Cluster1-EQL_Datastore05

800GB

高速盘

虚拟机创建

6

Cluster2-EQL_Datastore01

800GB

高速盘

虚拟机创建

7

Cluster2-EQL_Datastore02

800GB

高速盘

虚拟机创建

8

Cluster2-EQL_Datastore03

800GB

高速盘

虚拟机创建

9

Cluster2-EQL_Datastore04

800GB

高速盘

虚拟机创建

10

Cluster2-EQL_Datastore05

800GB

高速盘

虚拟机创建

 

说明:划分分区时名称带有cluster1和cluster2,是因为VMware到时创建两个HA,8个ESXI刀片主机为一个HA,cluster1的lun只能让VMware的cluster1可以访问,cluster2只能让VMware的cluster2可以访问。

(2)低速盘

低速盘用于存储视频等大容量的空间应用。

序号 分区名称 分区大小 盘类型 用途
1

DC1_ISO_Datastore01

800GB 低速盘 软件、镜像存放

5、存储管理

存储管理是通过WEB界面来管理,可以通过服务器10.200.88.200来管理,如https://10.200.88.200,也可以通过存储管理地址来访问,如172.22.228.201等地址。默认用户名密码为:grpadmin/password,进入后,就可以对存储进行管理。

六、华为万兆交换机规划、配置

两台华为交换机作为业务网络及存储网络的基础,起着十分重要的作用。交换机本身只作为二层交换机使用,通过VLAN来隔离不同的网络。

型号为华为S6700-48-EI,带有48个SFP万兆插槽、包转发率:715Mpps、交换容量:960Gbps。

在交换机上创建五个VLAN,227 228 229 3000 3088。

交换机端口连接、划分表:

1、VMware管理网络

S67000-01:11口(接HP C7000-01 VC01 X1口) 
S67000-01:19口(接HP C7000-02 VC01 X1口) 
S67000-02:11口(接HP C7000-01 VC03 X1口) 
S67000-02:19口(接HP C7000-02 VC03 X1口)

2、vMotion网络

S67000-01:12口(接HP C7000-01 VC01 X2口) 
S67000-01:20口(接HP C7000-02 VC01 X2口) 
S67000-02:12口(接HP C7000-01 VC03 X2口) 
S67000-02:20口(接HP C7000-02 VC03 X2口)

3、业务网络

S67000-01:13口(接HP C7000-01 VC01 X3口) 
S67000-01:14口(接HP C7000-01 VC01 X4口) 
S67000-01:15口(接HP C7000-02 VC01 X3口) 
S67000-01:16口(接HP C7000-02 VC01 X4口) 
S67000-02:13口(接HP C7000-01 VC03 X3口) 
S67000-02:14口(接HP C7000-01 VC03 X4口) 
S67000-02:15口(接HP C7000-02 VC03 X3口) 
S67000-02:16口(接HP C7000-02 VC03 X4口)

4、存储网络

S67000-01: 7口(接HP C7000-01 VC02 X1口) 
S67000-01: 8口(接HP C7000-01 VC02 X2口) 
S67000-01:17口(接HP C7000-01 VC02 X3口) 
S67000-01:18口(接HP C7000-01 VC02 X4口) 
S67000-01: 9口(接HP C7000-02 VC02 X1口) 
S67000-01:10口(接HP C7000-02 VC02 X2口) 
S67000-01:21口(接HP C7000-02 VC02 X3口) 
S67000-01:22口(接HP C7000-02 VC02 X4口) 
S67000-02: 7口(接HP C7000-01 VC04 X1口) 
S67000-02: 8口(接HP C7000-01 VC04 X2口) 
S67000-02:17口(接HP C7000-01 VC04 X3口) 
S67000-02:18口(接HP C7000-01 VC04 X4口) 
S67000-02: 9口(接HP C7000-02 VC04 X1口) 
S67000-02:10口(接HP C7000-02 VC04 X2口) 
S67000-02:21口(接HP C7000-02 VC04 X3口) 
S67000-02:22口(接HP C7000-02 VC04 X4口)

VMware管理网络及 vMotion网络都是VC上单线接入S6700交换机,所以S6700上不用做端口聚合。而业务网络和存储网络都是同一VC设备上多根接入S6700交换机,则需要做端口链路聚合。具体如下:

1、S6700-01交换机上的端口聚合列表:

(1)13、14口做成E-trunk 11,对应HP C7000-01 VC01 X3 X4两端口 
(2)15、16口做成E-trunk 13,对应HP C7000-02 VC01 X3 X4两端口 
(3)7、8、17、18口做成E-trunk 12,对应HP C7000-01 VC02 X1 X2 X3 X4四端口 
(4)9、10、21、22口做成E-trunk 14,对应HP C7000-02 VC02 X1 X2 X3 X4四端口 
(5)41、42、43、44口做成E-trunk 5,对应以太网核心S9312交换机的0-3四端口 
(6)47、48口做成E-trunk 30,对应S6700-02交换机的47、48两端口

2、S6700-02交换机上的端口聚合列表:

(1)13、14口做成E-trunk 11,对应HP C7000-01 VC03 X3 X4两端口 
(2)15、16口做成E-trunk 13,对应HP C7000-02 VC03 X3 X4两端口 
(3)7、8、17、18口做成E-trunk 12,对应HP C7000-01 VC04 X1 X2 X3 X4四端口 
(4)9、10、21、22口做成E-trunk 14,对应HP C7000-02 VC04 X1 X2 X3 X4四端口 
(5)41、42、43、44口做成E-trunk 6,对应以太网核心S9312交换机的4-7四端口 
(6)47、48口做成E-trunk 30,对应S6700-01交换机的47、48两端口

华为交换机端口聚合E-trunk配置举例:

interface Eth-Trunk11 
description to-hp-c7000-01-vc01-eth_x3x4_ethernet 
port link-type trunk 
port trunk allow-pass vlan 227 to 228 3000 
mode lacp-static 

interface XGigabitEthernet0/0/13 
eth-trunk 11 

interface XGigabitEthernet0/0/14 
eth-trunk 11 
#

七、VMware集群规划、配置

案例中共有ESXi主机16台,规划为第一个刀箱的前四个刀片与第二个刀箱的前四个刀片组成一个VMware HA,名称为Cluster1,第一个刀箱的后四个刀片与第二个刀箱的后四个刀片组成另一个HA,名称为Cluster2,增强冗余性,如下图所示。

yjs10

1、集群概览

域:cloud.xxx.cn 
数据中心名称:DC1 
集群1名称:Cluster1 
集群1主机数:8台 
集群1资源:

yjs11

集群2名称:Cluster2 
集群2主机数:8台 
集群2资源:

yjs11

集群1、2存储资源:

yjs12

集群1、2网络如下图,存储网络、VMware管理网络使用标准交换机,业务网络采用分布式交换机dvSwitch1。

yjs13

2、集群网络配置

正如上面讲到的,每个刀片都会认到8个可用的网卡,如下图,为vmnic0、vmnic1、vmnic2、vmnic4、vmnic8、vmnic9、vmnic10、vmnic12,在集群网卡配置时,只需将当时规划好的网卡绑定在一起即可。如下:

(1)VMware管理网络:vmnic0、vmnic8 
(2)vMotion网络:vmnic4、vmnic12 
(3)业务网络:vmnic2、vmnic10 
(4)iSCSI存储网络:vmnic1、vmnic9

yjs14

yjs08

3、集群管理机规划、配置

案例中的管理机如域控、vCenter服务器都架设中虚拟机中,不单独使用物理机来架设。清单如下:

序号

服务器名称 服务器IP 网关
1 域控服务器-01 172.22.228.2 172.22.228.1
2 域控服务器-02 172.22.228.3 172.22.228.1
3 vCenter数据库 172.22.228.101 172.22.228.1
4 vCenter服务器 172.22.228.100 172.22.228.1
5 vcops服务器 172.22.228.110
172.22.228.111
172.22.228.1

该案例整个架构及实现方式介绍就此结束,整个案例的复杂点应该是在HP的VC模块与VMware结合的配置。因接触也不深,文中难免有问题,仅供参考!

参考文章:

1、HP刀片服务器系统Flex-10 VC配置与VMware vSphere网络设计

2、Understanding HP Flex-10 Mappings with VMware ESX/vSphere