银行业分行虚拟化双活技术探索实践范文

摘要：目前，随着信息化建设的迅猛发展，在传统IT架构下，银行业数据中心系统数量越来越多，服务器、存储、网络等设备保有量和增长量持续壮大，如何更科学地整合资源、更灵活高效地部署、更安全可控地掌控，成为横亘在技术人员面前的问题。对此，兴业银行广州分行信息科技部探索实现了引入虚拟化存储双活技术的方案，主要将服务器虚拟化和存储双活灾备两者相结合，实现了高效灵活、安全可控的架构模式。

关键词：服务器虚拟化；双活；灾备

近年来，银行受互联网金融、大数据以及云计算的影响，其IT信息化建设发展迅速，银企之间的业务运营、交易结算、管理沟通越来越依赖于信息系统的支撑，日益增长的服务器和存储设备、急速膨胀的数据量、越来越紧张的机房场地、业务连续性要求的不断提高等，都给银行业各级数据中心带来了严峻的考验。

一、项目背景

目前，兴业银行广州分行生产系统众多，服务器数量持续增长，中心机房基础设施资源紧张，面临如下几个问题。

（一）设备数量持续增长，运营压力凸显随着银行业务的快速发展，各类系统平台不断上线，传统架构下，每个生产系统采用冷备方式，均需配置一主一备两台服务器，服务器保有量越来越多。在这种状况下，各个系统服务器资源是物理独立的，资源利用率不高，备机资源平时处于空闲状态，无法进行统筹均衡管理。同时，维护众多物理设备，也增加了维护成本以及维护工作量。

（二）机房资源紧张，带来IT运营风险隐患服务器以及随之关联的存储和网络设备数量的增长，可能会使得机柜的利用率迅速接近饱和，机房精密空调制冷效果下降，UPS电力负载不断增加，而机房的基础环境改造成本较高、涉及面广、风险较大，难以轻易实施。

（三）开发测试环境，无法高效灵活应对每套系统均需建立开发测试环境，目前提倡的是敏捷开发。而快速迭代时，耗费大量时间去协调物理设备、准备基础环境、安装各类应用软件，这会极大地影响开发效率。

（四）故障维护困难，升级扩容不易当服务器设备进行硬件故障维护或升级扩容时，必须停机操作，此时会中断在其上运行的业务系统，影响业务连续性。为降低资源消耗和成本投入，减少业务系统的部署成本，提升日常维护效率，提高业务连续性，急迫需要引入当前已得到广泛应用的虚拟化技术。VMware作为当今IT界虚拟化技术的领航者，可利用“虚拟化+存储资源池”的技术来整合目前的物理资源，打造分行虚拟化资源管理平台，实现对IT资源的科学分配、动态管理、灵活部署，从而确保各项业务系统的连续高效运行。

二、项目实施及成效

VMwarevSphere是VMware公司推出的PC服务器虚拟化平台解决方案，其虚拟化技术将服务器的物理资源抽象成逻辑资源，让一台服务器变成多台相互隔离的虚拟服务器，使得CPU、内存、磁盘等实际物理硬件变为可动态调整分配的资源池。

（一）架构说明此次虚拟化项目的实施，将改变过去单一服务器简单虚拟化的做法，从而打造三大虚拟化集群：生产系统集群、办公系统集群、开发测试集群，由VCenter统一管理调度，根据内部网络的VLAN划分规则，每个集群之间是网络隔离的，具体架构如图1所示。详细环境说明如下。软件环境：软件环境为VMwarevSphere6.5。服务器环境：充分利用现有旧设备，选用部分硬件型号兼容vSphere6.5的旧服务器，型号基本为联想3650M5，新采购服务器为华为RH2288型号，合计服务器数量约为12台，规划三大虚拟化集群各分配4台服务器。交换机环境：服务器之间的内网采用华为万兆交换机，服务器与存储之间采用思科SAN交换机。存储环境：第一期实施中先使用旧的IBMV7000存储。

（二）实施过程在实施过程中，本着确保业务连续性和稳定性的原则，采取了新老划断的方式：现有的老系统并不立即进行批量迁移，而是利用升级或改造的机会，进行逐一迁移；对于新系统，则统一在该虚拟化平台上上线。主机安装：所有服务器配置4个网口作为业务网络，2个网口作为管理及vMotion网络，2个网络预留作为VMFT容错功能；配置2块8GFC卡、2块300G硬盘；配置RAID1；安装vSphere6.5版本软件；安装独立的VCenter控制台，将所有主机划分为三大集群，由VCenter统一管理。网络规划：为了满足网络流量按照功能隔离传输与高可用的要求，需要在每台主机的网络配置中将网叉配置到不同的虚拟交换机内，vSwitch0（标准交换机）主要负责vMotion、管理流量，vSwitch1（分布式交换机）主要负责虚拟机的业务流量传输，可在虚拟交换机上建立不同VLAN的端口组对网络进行逻辑上的隔离。存储设置：服务器通过双HBA卡和两台光纤交换机连接到集中SAN存储，为存储划分出2TB-4TB之间的LUN，挂载到各个主机上。虚拟化基本环境安装完毕后，可通过具体功能的设置，较好地解决了前文所述的痛点，见表1所列。通过对比可看出，虚拟化项目的实施极大地保障了业务的连续性，提高了服务器资源的使用率，减少了机房基础设施负担，使得IT工作效能得到了极大提升。

（三）双活容灾从前文架构中可以看出，其基本实现了各条链路的高可用，不足之处是存储为单一集中存储，存在较为集中的单点风险。虽然通过vSphere的VDP功能以及第三方软件，也可以实现虚拟机及数据文件的备份，但同样需要额外的大容量存储设备，并且无法做到实时同步备份。而银行业往往是无法忍受数据存在丢失的可能性，因此，采取增购一台与现有存储同一型号的IBMV7000新存储设备，利用V7000自带的HyperSwap功能实现跨站点的存储双活灾备架构，如图2所示。1.建设目标通过IBMSVCHyperSwap技术，对新旧两台存储进行实时容灾建设，使得数据时刻存在一个在线的镜像副本，当任意一份数据因为不可抗力产生物理损坏时，应用系统都可无感知无干预地进行平滑切换，保证数据不丢失及业务不间断。2.实现方案及原理（1）HyperSwap功能提供高度可用的卷，可通过最远相距300km的两个站点进行访问。在每个站点（两台存储）上有维护数据的完全独立副本，当主机在任一站点上写入数据时，两个副本会在写入操作完成之前同步更新。此次实际项目中，由于两台存储部署在同一物理机房内，因此无须考虑两站点间长距离传输引起的网络延迟问题。（2）在本次项目中，由于实际应用中，原本数据库应用服务均是通过冷备方式进行切换的，没有数据库访问的双活，因此，在做存储双活灾备的时候，无须考虑这一点。（3）如果任一站点上的节点或存储脱机，HyperSwap功能会自动将应用访问切换到另一站点的联机副本，当故障站点恢复正常后，HyperSwap自动重新同步两个副本。（4）通过IBMSVCHyperSwap实现对两台存储系统上的磁盘进行镜像后为服务器提供存储。通过两台存储阵列之间存储镜像如图3所示。首先对两台存储设备的物理磁盘做RAID5（对应图中左右两台），然后在左边存储阵列中再划分出LUNa和LUNb两个逻辑磁盘，同样，在右边存储阵列中可以划分出LUN1和LUN2两个逻辑磁盘，将这些LUNmap给SVC，SVC将这些LUN视为ManagedDisk，并在不同的ManagedDisk之间进行镜像，做成供服务器使用的VirtualDisk。SVC或V7000将从左边存储的磁盘阵列获得的Ma和从右边存储磁盘阵列获得的M1进行镜像后，形成的VirtualDisk为Vdisk1，然后再将Vdisk1map给主机服务器，主机服务器像使用本地磁盘一样使用Vdisk1。对于主机服务器获得的Vdisk来说，不会因为任何一个存储系统的故障而出现问题，从而大大提高了存储系统的可用性，为前端应用系统的开展提供了更好的保障。

三、监控管理

实现自动化的及时预警是运维工作中一项极其重要的事项，VMware虚拟化架构提供了内置的警报管理机制，预定义了很多基于集群、ESXi主机、虚拟机的警报，也可以自定义警报，主要包括：ESXi主机CPU电压、温度等状态；虚拟机CPU利用率、内存使用率等；存储空间的使用率告警；HA，FT等高级特征性错误。当以上告警触发后，可配置vCenter发送SNMPtraps到专业网络管理软件中。目前，项目正在实施VMwarevSphere告警与本地zabbix特色监控平台之间的对接，以更好地实现对报警事件的统一管理、及时响应和快速解决。vSphere企业管理组还可定期负责审查和管理这些有vCentre、虚拟机、ESXi主机产生的健康和系统日志，这些日志将为企业的保留策略及程序做准备和归档。

四、总结改进

本次虚拟化存储双活灾备项目的实施，给分行带来了高效可靠运维手段，但VMwarevSphere并非是一种万能工具，“马儿”再好，也要有善骑者才能驾驭，应重点注意以下两点。一是高可靠性和高灵活度，带来的是平台高集中度的风险。VMwarevSphere内部机制是非常复杂的，科技人员应该不断学习和掌握其特性，根据各自用户的不同需求，进行长期的优化配置、调优性能，尤其要加强日常运维监控力度，注意收集和分析报警日志，防微杜渐，掌控其健康状态、发展趋势，及时采取有效的应对措施。二是强大的容错保障机制，是以确保各项资源条件为前提的。运算资源和存储资源应该严格做好科学规划，重难点在于建立一套长期运营的规范并严格落实，杜绝随意规划、随性申请、随机分配，否则极易产生资源不平衡、扩展性差、配置混乱的情况。

参考文献：

[1]王春海. VMware vSphere企业运维实战[M]. 北京：人民邮电出版社，2017.

[2]朱金惟. 基于存储虚拟化技术的双活存储系统设计与实现[J]. 信息与电脑，2017(1):137-138.

作者：陈恒 刘学梁 单位：兴业银行广州分行