Archive for the ‘9.数据中心网络’ Category.

VMware vSphere 永久设备丢失Permanent Device Loss(PDL)、全部路径异常All-Paths-Down(APD)相关参数设置

VMware vSphere可以借助双活存储等技术实现虚拟化的双活数据中心,即可以将vSphere HA集群跨机房部署,如下图所示,本例中存储层使用的EMC VPLEX方案实现的存储双活,ESXi虚拟化服务器四4台,生产和容灾各部署在两台,通过vSphere HA形成虚拟化集群,当某ESXi主机或网络出现故障时,即能将虚拟机切换至正常的主机上。

但有一种故障,即某台ESXi虚拟化主机不能识别到存储了,比如ESXi-01上连接两台SAN光纤交换机的光纤线全部损坏不通了,这时,ESXi主机本身运行是正常的,但主机上创建的虚拟机数据是放在存储上的,所以造成该主机上的虚拟机会全部停止,无响应,虚拟机名称会变成灰色斜体字,因为当存储链路断开,VMWARE默认是不作处理的,不会将现在的虚拟机杀死等操作,所以虚拟机就不会在另外正常的ESXI主机上重新起来。从vSphere 5.0开始,引入了PDL(Permanent Device Loss,永久设备丢失),又有APD(All-Paths-Down,所有路径异常),下面,通过相关设置,使发生APD或PDL时VMWARE平台有所反应。

apdpdl011

1、VMware vSphere 5.0/5.1版本设置步骤

5.0,5.1版本时代刚引入此PDL参数,所以只需进行PDL设置即可:

(1)disk.terminateVMonPDLDefault设置为true

通过SSH方式进入ESXi-01的主机命令行界面,并进入/etc/vmware目录,将“Disk.terminateVMOnPDLDefault=TRUE”添加至settings文件中,如下图所示。

apdpdl02

(2)das.maskCleanShutdownEnabled设置为true

进入集群的编辑设置界面,如下图

apdpdl03

进入vSphere HA选项,点击右下角的“高级选项”,如下图

apdpdl04

在弹出的对话框中选项中输入das.maskCleanShutdownEnabled,值中输入true,完成设置后,重启ESXi-01主机。

apdpdl05

完成后,也需要对集群中的每台主机都要进行设置。

 

2、VMware vSphere 5.5/6.0版本设置步骤

到了vSphere 5.5或者6.0版本后,又出现了APD(全部路径异常)功能,与PDL的监测存储的方式不一样。设置也都在主机的高级选项中设置即可,具体如下:

(1)VMkernel.Boot.terminateVMOnPDL启用,打钩

选择一台虚拟化主机,选择“配置”->“高级设置”

apdpdl06

进入VMkernel –> Boot选项下,如下图,再找到 VMkernel.Boot.terminateVMOnPDL选项值,在后面打上钩

apdpdl07

(2)Disk.AutoremoveOnPDL设置为0

还是在高级选项窗口中,找到Disk选项,在第一行,将Disk.AutoremoveOnPDL设置0,如下图

apdpdl08

(3)Misc.APDHandlingEnable设置为1,Misc.APDTimeout设置为20

进入Misc选项,进行如下设置。

apdpdl09

(4)das.maskCleanShutdownEnabled设置为true

进入集群的编辑设置界面,如下图

apdpdl03

进入vSphere HA选项,点击右下角的“高级选项”,如下图

apdpdl04

在弹出的对话框中选项中输入das.maskCleanShutdownEnabled,值中输入true,完成设置后,重启ESXi-01主机。

apdpdl05

同时也需要对其它虚拟化主机也进行相关设置。

完成以上设置后,当SAN光纤链路或存储或光纤交换机出现问题,使某台主机不能识别存储后,虚拟化平台会在一定的时间内作出反应,将虚拟机主动杀死,使集群功能能将虚拟机在另外正常的主机上重新启动,以使虚拟机恢复正常运行。

声明:本文是通过查阅网络上相关文章,自己整理后所得,若是生产环境,建议先在测试环境中测试验证再使用,若出现任何问题,本人概不负责:)。

参考资料:

1、http://cormachogan.com/2012/09/07/vsphere-5-1-storage-enhancements-part-4-all-paths-down-apd/

2、http://www.yellow-bricks.com/2015/07/02/vsphere-metro-storage-cluster-with-vsphere-5-5/

3、https://www.emc.com/collateral/technical-documentation/h13813-vplex-metro-cross-cluster-host-connectivity-best-practices.pdf

4、https://wenku.baidu.com/view/f8dbee54804d2b160b4ec0fa.html

5、http://support.huawei.com/enterprise/zh/doc/DOC1000053001