分布式数据中心解决方案
技术背景
数据大集中之后，企业的经营活动越来越依赖于数据中心与网络等IT基础设施，IT的7*24全天业务连续运营成为大型企业IT建设运营与企业经营追求的目标。如何实现减少甚至消除正常和非正常的停机对业务可用性造成的影响，不仅是IT建设与运维团队的目标，更成为企业决策层所关注的。
出于灾备（Disaster Recovery）的目的，企业一般都会建设两个或多个数据中心（如图1所示）。主数据中心承担用户的核心业务，其他的数据中心主要承担一些非关键业务并同时备份主中心的数据、配置、业务等。正常情况下，主中心和备中心各司其职，发生灾难时，主数据中心宕机、备份数据中心可以快速恢复数据和应用，从而减轻因灾难给用户带来的损失。由于灾难是小概率事件，而采用一主一备这种方式，备份数据中心只在灾难发生时才能起到作用，并且随着企业容灾建设标准（《信息系统灾难恢复规范》GB/T 20988-2007）的提升，备份IT资源和资金会投入越来越大，相互直接又不能够复用，从而造成浪费。另外主备模式的应用，备中心在接替主中心时需要较长的时间、关系复杂，往往会严重影响用户的业务办理。典型的如国内外银行等高端用户多采用”两地三中心”（即生产数据中心、同城灾备中心、异地灾备中心）建设方案。这种模式下，多个数据中心是主备关系，即存在主次，业务部署优先级存在差别，针对灾难的响应与切换周期非常长，RTO与RPO目标无法实现业务零中断，资源利用率低下，投资回报无法达到预期。两地三中心本质上是一种通过简单资源堆砌提高可用性的模式，对高可用的提高、业务连续性的保证仍然只是量变，业务连续性及容灾备份一直没有实质性的跨越。
目前，以银行为代表的、包括政府、公共交通、能源电力等诸多行业用户，开始将关注点转向”分布式双活数据中心”（Distributed Active/Active Data Centers）的建设（如图2所示）。
分布式数据中心的定义
分布式双活数据中心将业务分布到多个数据中心，彼此之间并行为客户提供服务，分布式双活包括两大关键特征——分布式和双活，体现出企业级用户在建设与使用数据中心时对资源调度利用和业务部署灵活性的新思路。
所谓分布式，一是指数据中心在机房基础设施、地理空间、计算/存储/网络资源的软硬件部署上是分布而非集中的，满足灾备建设与业务联系的要求，多个DC在建设上可以循序渐进的展开，彼此保持一定的独立性，未来扩容升级可与现有架构保持良好兼容；二是资源的调度可以跨越多个数据中心，运维管理可以基于全局，多个数据中心间实现有机结合与资源共享，逻辑上可以视为一个全局的大数据中心。
所谓双活，一是多中心之间地位均等，正常模式下协同工作，并行的为业务访问提供服务，实现了对资源的充分利用，避免一个或两个备份中心处于闲置状态，造成资源与投资浪费，通过资源整合，双活数据中心的服务能力往往双倍甚至数倍于主备数据中心模式；二是在一个数据中心发生故障或灾难的情况下，其他数据中心可以正常运行并对关键业务或全部业务实现接管，达到互为备份的效果，实现用户的”故障无感知”。
分布式数据中心技术体系
数据中心网络系统只是数据中心总体IT系统的一个组成部分，建设分布式双活数据中心需要网络、计算、存储等多个IT系统之间紧密合作才能实现。分布式双活数据中心的技术体系内容非常丰富，从数据中心前端的全局负载均衡（GSLB）到服务器前端的负载均衡（SLB）和服务器集群HA技术，再到后端的数据库系统和存储系统技术，涉及数据中心整体解决方案的方方面面。
分布式数据中心前段网络双活
在分布式双活数据中心网络环境下，通过数据中心前端分布式网络双活技术，用户能快速访问”距离最近”的可用数据中心相对应的业务，提高服务响应速度，提升用户访问体验。数据中心的业务对外发布时，可以采用纯IP地址也可以采用DNS域名方式。根据业务对外发布方式的不同，数据中心前端也相应采用不同的技术实现分布式网络双活。
如图3所示，当业务采用纯IP方式对外发布时，正常情况下只有主中心DC A对外发布业务路由，从而将用户访问流量牵引到主中心，实现主中心业务访问。而备中心DC B的流量管理设备（支持RHI特性）只探测业务地址，因没有探测到而不对外发布业务路由，实现主中心的备份作用。
图3 纯IP地址方式发布业务正常情况由主中心提供业务
当主中心业务迁移到备中心后，备中心的流量管理设备探测到业务IP已经转移到备中心，从而对外发布业务路由，引导用户访问备中心的业务IP，从而实现基于纯IP发布业务的数据中心前端网络双活。
当业务系统基于DNS域名方式对外发布时，可以采用基于智能DNS解析的GSLB。GSLB解决了第一步即引导数据中心前端广域网用户流量访问适当的数据中心问题，所以GSLB的应用环境往往是基于域名的多数据中心之间的负载分担和相互之间的容灾备份。
图4 DNS方式GSLB的基本模型
（如图4所示）GSLB 基于DNS的流量管理机制主要完成DNS解析请求的负载均衡、服务器状态监控、用户访问路径优化。用户访问应用时，域名解析请求将由GSLB负责处理，它通过一组预先定义好的策略，将最接近用户的节点地址提供给用户，使其可以得到快速的服务。同时，它还与分布在各DC的所有GSLB节点保持通讯，搜集各节点的健康状态，以保证不将用户的请求分配到任何一个已经不可用的节点上。GSLB 通过就近探测实现负载分担（如图5所示）。
图5 GSLB就近探测原理
数据中心A、B、C各部署一个GSLB，其中DC A的GSLB为主GSLB，响应流程如下：
1. Local DNS向主GSLB发起域名解析请求；
2. GSLB-A、GSLB-B、GSLB-C将访问local DNS的延迟时间等相关信息返回给GSLB-A汇总，并判断最优的地址返回给local DNS；
3. 以站点的响应时间作为引导用户的依据，用户的访问请求被导向到性能好，响应时间快的站点。
DNS方式的GSLB主要功能和特性如下：
应用智能：感知应用，及时发现业务中断；
可管理：自动切换，通知用户改变数据访问点；
高性能：支持流量在数据中心的动态负载均衡。
分布式数据中心后端网络互连技术
通过虚拟机动态迁移技术（如VMware的vMotion）可实现数据中心间的计算资源动态调配，通过服务器高可用集群技术可实现数据中心间应用级容灾，这两种应用场景统称为”分布式数据中心（Distributed Data Center）部署方式”，其特点是一个应用系统在IP地址不变的情况下可以在不同数据中心对外提供服务，但同一时段此应用只出现在一个数据中心，数据中心的访问用户不感知这种变化。虚拟化从根本上改变了数据中心网络架构的需求，最重要的一点就是，虚拟化引入了虚拟机动态迁移技术，从而要求网络支持大范围的二层域，大二层网络技术应运而生，以帮助解决二层网络的扩展。
以太网虚拟化互联（EVI：Ethernet Virtual Interconnection）技术基于现有的服务提供商网络和企业网络，给分散的物理站点提供灵活的二层互联功能。EVI解决方案部署非常简单，成本低廉，只需要在站点边缘部署一个或多个支持EVI功能的设备，企业网络和服务提供商网络无需做任何变动
数据中心之间需要二层互联，建议在数据中心添加独立的边缘层设备负责数据中心之间的二层互联，边缘层支持设备冗余以提升高可靠性。当然，如果数据中心汇聚层设备支持MDC，可以在现有汇聚层设备上划分出一个逻辑独立的边缘层设备。这样可以减少网络设备的数量，降低成本。标准的EVI部署模型如图10所示。
图10 EVI部署模型
在数据中心添加独立的边缘层设备负责数据中心之间的二层互联，边缘层支持设备冗余以提升高可靠性。数据中心的多个POD的汇聚层设备通过二层链路连接到边缘设备，从而不同数据中心站点之间的POD之间形成大的二层转发域。
