集团灾备中心建立方案V4.0中企网络通讯技术**2021 年5月14日目 录第1章 集团应用系统灾备需求 41.1 灾备工程背景 41.2 集团生产站点总表达状 41.3 灾备工程需求 9第2章 集团灾备中心建立目标 102.1 灾备级别划分 10 第2级 备份介质异地存放+异地备份数据中心 10 第3级 网络传输+异地数据中心局部设备支持 11 第4级 网络传输+异地数据中心完整设备支持 122.2 灾备系统组成 142.3 灾备模式介绍 152.4 集团一期灾备工程关键指标要求 15第3章 业务系统灾备建立方案 163.1 方案设计思路 163.2 灾备中心VM规划 173.3 信息披露系统灾备设计 18 方案设计拓扑图 18 虚拟效劳器层面 18 Oracle数据库设计 193.4 股份门户灾备设计 20 方案设计拓扑图 20 虚拟效劳器层面 20 SQL Server数据库设计 20第4章 灾备网络概要设计 214.1 方案设计拓扑图 214.2 集团管理信息部部署方式 224.3 **宝山机房部署方式 234.4 灾备数据业务流向 24 Veeam灾备数据复制 24 应用系统数据复制 254.5 灾备切换场景及业务数据流向分析 27 正常情况下的路由及数据流 27 灾备切换场景概述 28 灾备切换情况说明 30第5章 数据灾备及数据回复的实现过程 315.1 数据灾备过程 315.2 数据回复过程 32第6章 灾备技术说明 336.1 Veeam的实现过程 336.2 Veeam的优势分析 34第7章 灾备工程实施相关 367.1 实施方案 367.2 灾备站点根底设施 37 软硬件选型 397.3 灾备站点虚拟机配置 407.4 工程交付 417.5 安装过程 417.6 工程支持团队 427.7 工程进度 427.8 UAT测试标准 437.9 灾备启动流程 447.10 灾备回复流程 457.11 责任划分 46第8章 客户效劳 488.1 客户效劳理念 488.2 一站式效劳支持 488.3 客户满意度的措施 488.4 效劳优势 498.5 中企通信效劳质量承诺标准 49 MPLS VPN专线承诺标准 49 中企通信云平台承诺标准 50第9章 中企通信灾备中心效劳介绍 519.1 中企通信灾备中心效劳综述 519.2 **宝山数据中心概述 529.3 中企通信云计算效劳〔SMARTCLOUD™〕概述 529.4 中企通信灾备效劳〔BRR〕概述 54第10章 成功案例 56. z-第1章 集团应用系统灾备需求1.1 灾备工程背景随着集团业务信息量增大，集团日常工作对信息化的依赖程度越来越高。
业务系统一旦中断，将给集团带来巨大的经济损失和负面效应业务连续性的保障工作成为集团管理信息部首要考虑的问题因此要建立异地灾备中心，对核心业务系统进展容灾备份，在系统出问题时，能有相关的容灾系统及时接收业务，保证业务系统的连续、稳定运转1.2 集团生产站点总表达状中国**集团**建立有IT共享效劳中心和数据中心，承载着集团的所有信息化系统及子公司的局部应用系统IT共享效劳中心拥有2台IBM P710主机、6台IBM P730主机〔112核CPU、448G内存〕以及10台IBM *3850效劳器、2台IBM *3650效劳器〔44颗6核CPU、1664G内存〕，利用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC效劳器资源池，同时利用2台IBM V7000存储〔22T可用容量〕、1台Netapp V6210a存储〔20T可用容量〕构建了存储资源池；数据中心拥有2台IBM P730主机〔32核CPU、128G内存〕以及3台IBM *3850效劳器〔18颗6核CPU、160G内存〕，利用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC效劳器资源池，同时利用1台IBM V7000存储〔11T可用容量〕构建了存储资源池；小型机资源池和PC效劳器资源池通过4台CISCO 9148光纤交换机多路径连接到存储资源池。
IT共享效劳中心和数据中心利用PowerVM、VMware技术部署了40余台小型机虚拟机以及140余台PC效劳器虚拟机，承载着门户、内联网、集成化管理类应用、系统、数据分析系统等应用系统及各应用系统的开发测试环境虚拟机的操作系统包括AI*〔6.1为主〕、Windows〔2000、2003、2021、2021〕、Linu*〔Redhat、CentOS、SUSE〕，数据库包括Oracle RAC〔10g、11g〕、SQL Server双机、DB2、MySQL等，中间件包括Websphere、Weblogic、Tomcat等，应用平台包括Portal、Domino、HFM等IT共享效劳中心和数据中心的网络由2台CISCO 4507R和一台Huawei5700交换机组成，利用2台天融信TG61040、2台Feitigate1000c防火墙划分出核心区、辅助区、平安区、测试区、Web区等多个虚拟网络，防火墙具有访问控制、防攻击、防病毒的功能IT共享效劳中心和数据中心还部署有2对美国优势网络公司的Inchorus1240应用前端交换机，配置了局部应用系统的负载均衡用户访问各应用系统时，大局部通过TDS统一认证，有些应用系统有自己的认证系统。
一期生产站点现状集团的信息披露系统和**股份门户的效劳器架构基于双机热备份的架构部署信息披露系统的现状如下：如以下图，目前信息披露系统由9台效劳器组成，其中2台web效劳器、2台HFM效劳器、2台数据管理效劳器以及及1台报表分析效劳器共7台效劳器运行在集团的VMware虚拟化平台上，操作系统为Windows2021 R2，2台数据库效劳器运行集团的PowerVM虚拟化平台上，操作系统为AI* 6.17台VMware虚拟效劳器部署着Oracle公司的Foundation、HFM、BIEE，以及景华天创公司的Bivison；2台PowerVM虚拟化小型机部署着Oracle RAC2台web效劳器、2台数据管理效劳器使用美国优势公司的Inchorus配置了负载均衡，2台web效劳器为双活模式，2台数据管理效劳器为主备模式信息披露系统数据分为两类：一类为随机上报的披露数据，每月约100条左右；一类为按季度上报的合并数据，目前有70家子公司上报，每家每次数据量为5M左右股份门户的现状如下：如以下图，目前**股份门户由6台效劳器组成，2台web效劳器、2台CMS效劳器、2台数据效劳器共6台效劳器运行在集团的VMware虚拟化平台上，操作系统为Windows2021 R2。
6台VMware虚拟效劳器部署着Windows IIS、Euroland公司的CMS和Windows SQL server数据库集群2台web效劳器使用美国优势公司的Inchorus配置了负载均衡，为双活模式门户的数据更新是随机的，每月约15条左右根据集团提供的信息系统调查表计算出，生产环境下，各信息系统的的资源用量为：效劳器CPU内存存储VMDK文件大小IP地址负载均衡〔效劳〕IP**集团信息披露系统Web效劳器128GC:100G D:50G8G 12GWeb效劳器228GC:100G D:50G8G 12GHFM应用效劳器1216GC:100G D:150G11G 24GHFM应用效劳器2216GC:100G D:150G8G 14G数据管理效劳器1216GC:100G D:150G10G 21G数据管理效劳器2216GC:100G D:150G8G 12G数据库集群**股份门户Web效劳器1412GC: 50G25GWeb效劳器2412GC: 50G23GCMS效劳器1〔主效劳器〕412GC: 50G24GCMS效劳器2〔备用效劳器〕412GC: 50G22G〔备用地址〕数据库效劳器1416GC:150G500G29G2G1.3 灾备工程需求集团目前第一期方案针对信息披露系统和**股份进展灾备工程的实施。
目前信息披露系统的web效劳器、HFM效劳器、数据管理效劳器以及报表分析效劳器共7台效劳器运行在集团的vmware虚拟化平台上，披露系统的Oracle数据库系统运行在小型机上，该系统的主要功能是完成财务报表的合并，同时支持**股份的信息披露业务；**股份的官方的6台效劳器也运行在集团的vmware虚拟化平台上，该属于**股份的官方，是**股份集团对外的信息发布和形象展示窗口；集团信息部门要求针对这两个系统提出可行性灾备方案，要求在生产站点业务中断后，灾备站点可以在一定时间内完全接收业务，保证数据在异地有冗余备份Ø 信息披露系统的要求：1. 灾备站点的Web效劳器、HFM效劳器、数据管理效劳器、Oracle数据库效劳器和DNS效劳器的IP地址均不能变更；2. 信息披露系统只针对**集团本部和集团下属各个子公司提供效劳，全部通过**集团第二*网进展内网访问；3. 生产站点和灾备站点之间通过MPLS VPN网络连通，实现数据的传输；Ø **股份门户的要求：1. 灾备站点的Web效劳器、CMS效劳器和SQL Server数据库效劳器的IP地址可以不和生产站点的Web效劳器、CMS效劳器以及SQL Server数据库效劳器保持一致；2. **股份门户对外通过互联网提供访问效劳；3. 生产站点和灾备站点之间通过MPLS VPN网络连通，实现数据的传输和交互；第2章 集团灾备中心建立目标2.1 灾备级别划分根据国务院信息化工作办公室于2005年4月下发的?重要信息系统灾难恢复指南?中的定义，灾难恢复等级可以划分为6个不同的等级，根据不同的灾难恢复需求确定灾难恢复等级，不同的灾难恢复等级，其解决方案可根据灾难恢复登记以下主要方面所到达的程度分为七级，即从低到高有七种不同层次的灾难恢复解决方案。
可以根据**集团各业务的系统及数据的重要性以及恢复策略，来设计选择灾难恢复方案和方案根据?重要信息系统灾难恢复指南?的定义，灾难恢复级别的选择，主要决定以下七个要素：² 数据备份系统² 备用数据处理系统² 备用网络系统² 备用根底设施² 技术支持² 运营维护管理² 灾难恢复预案国信办在?重要信息系统灾难恢复指南?中定义了灾难恢复等级划分了六个标准，依据风险分析和业务影响分析，按照业务连续性要求，集团总部信息系统分为重要信息系统、次重要信息系统和非重要信息系统3类，每类信息系统适用不同的国家灾备等级标准：l 重要信息系统：4级l 次重要信息系统：3级l 非重要信息系统：2级具体内容如下：2.1.1 第2级备份介质异地存放+异地备份数据中心第二级灾难恢复应具有技术和管理支持如表A．2所示表 A. 1第2级灾难恢复的技术和管理支持要素要求数据备份系统a) 完全数据备份至少每周一次；b) 备份介质场外存放备用数据处理系统a) 灾难发生时能在预定时间内调配所需的数据处理设备到场备用网络系统a) 灾难发生时能在预定时间内调配所需的通信线路和网络设备到位备用根底设施a) 有符合介质存放条件的场地；b) 有满足信息系统和关键业务功能恢复运作要求的备用场地。
技术支持—运行维护支持a) 有介质存取、验证和转储管理制度；b) 按介质特性对备份数据进展定期的有效性验证；c) 有备用场地管理制度；d) 与相关厂商有符合灾难恢复时间要求的紧急供货协议；e) 与相关运营商有符合灾难恢复时间要求的备用通信线路协议灾难恢复预案a) 有相应的经过完整测试和演练的灾难恢复预案2.1.2 第3级网络传输+异地数据中心局部设备支持第三级灾难恢复应具有技术和管理支持如表A．3所示表 A. 2第3级灾难恢复的技术和管理支持要素要求数据备份系统a) 完全数据备份至少每天一次；b) 备份介质场外存放；c) 每天屡次利用通信网络将关键数据定时批量传送至备用场地备用数据处理系统a) 配备灾难恢复所需的局部数据处理设备备用网络系统a) 配备局部通信线路和相应的网络设备备用根底设施a) 有符合介质存放条件的场地；b) 有满足信息系统和关键业务功能恢复运作要求的场地技术支持a) 在备用场地有专职的计算机机房运行管理人员运行维护支持a) 按介质特性对备份数据进展定期的有效性验证；b) 有介质存取、验证和转储管理制度；c) 有备用计算机机房管理制度；d) 有备用数据处理设备硬件维护管理制度；e) 有电子传输数据备份系统运行管理制度。
灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案2.1.3 第4级网络传输+异地数据中心完整设备支持第四级灾难恢复应具有技术和管理支持如表A．4所示表 A. 3第4级灾难恢复的技术和管理支持要素要求数据备份系统a) 完全数据备份至少每天一次；b) 备份介质场外存放；c) 每天屡次利用通信网络将关键数据定时批量传送至备用场地备用数据处理系统a) 配备灾难恢复所需的全部数据处理设备，并处于就绪状态或运行状态备用网络系统a) 配备灾难恢复所需的通信线路；b) 配备灾难恢复所需的网络设备，并处于就绪状态备用根底设施a) 有符合介质存放条件的备用场地；b) 有符合备用数据处理系统和备用网络设备运行要求的场地；c) 有满足关键业务功能恢复运作要求的场地；d) 以上场地应保持7 * 24运作技术支持在备用场地有：a) 7 * 24专职计算机机房管理人员；b) 专职数据备份技术支持人员；c) 专职硬件、网络技术支持人员运行维护支持a) 有介质存取、验证和转储管理制度；b) 按介质特性对备份数据进展定期的有效性验证；c) 有备用计算机机房运行管理制度；d) 有硬件和网络运行管理制度；e) 有电子传输数据备份系统运行管理制度。
灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案2.2 灾备系统组成一个典型的灾备系统由灾备中心根底环境设施、数据备份系统、备份处理系统、网络通信系统和灾难恢复方案等组成在集团第一期的灾备工程中，灾备系统的组成如下：Ø 根底设施环境：由中企通信位于**宝山的云计算数据中心〔T3+级别〕提供异地灾备数据中心的根底设施环境，以保障数据备份系统和备份处理系统的正常工作；采用DELL高性能*86架构效劳器、SAN存储以及光纤交换机作为底层硬件资源；Ø 数据备份系统：依托集团总部数据中心和**宝山数据中心之间高速、稳定的MPLS VPN骨干网络，通过中企通信SmartCLOUD vONE私有云和虚拟化灾备软件veeam backup & replication来构建此次工程的数据备份系统；Ø 备份处理系统：veeam server控制台系统、Oracle数据库、SQL Server数据库、TDS身份验证系统以及DNS系统，构成灾备中心的整个备份处理系统；灾难恢复方案主要基于以下两个阶段考虑：系统切换阶段：业务系统的故障切换主要针对灾备中心的业务系统虚拟效劳器进展快速、有效地恢复，按照预先制定的业务系统恢复流程和启动顺序进展操作；网络切换阶段：网络层面的切换主要针对灾难发生后的业务访问进展快速、有效的网络切换，确保用户可以正常访问到灾备中心的业务系统；2.3 灾备模式介绍灾备模式主要分为双活模式和主备模式2类，其中主备模式又可分为热备模式、暖备模式和冷备模式。
双活模式：主中心和灾备中心负载均衡，用户可同时访问主中心或灾备中心，主中心和灾备中心之间双向同步复制数据〔要求距离小于100公里〕，数据零丧失，适用同城灾备，该模式对应国家标准6级热备模式：当主中心发生灾难时，自动切换到灾备中心，主中心数据向灾备中心同步复制数据〔要求距离小于100公里〕，数据零丧失，适用同城灾备，该模式对应国家标准6级暖备模式：当主中心发生灾难时，手动切换到灾备中心，主中心向灾备中心实时复制数据，数据丧失小，适用同城或异地灾备，该模式对应国家标准5级冷备模式：当主中心发生灾难时，手动切换到灾备中心；主中心向灾备中心定时复制或备份数据，数据丧失较大，适用同城或异地灾备，该模式对应国家标准4或3级2.4 集团一期灾备工程关键指标要求集团目前一期方案针对**股份信息披露系统和**股份进展灾备工程的实施，通过工程的实施，形成一种灾备的模式，下一步对更多的核心应用进展灾备根据应用系统的访问需求，对灾备中心提出如下需求：要求信息披露系统在2小时内实现业务系统的全面接收，包括系统的启动、内部网络IP的接收、应用的启动，以及辅助的域名解析效劳、TDS身份认证效劳、VPN访问的切换；同时要求信息披露系统的数据丧失量小于4个小时；〔RT0<2小时、RPO<4小时〕要求**股份在半小时内恢复可访问，包括系统的启动、域名的切换；同时要求**股份的数据丧失量小于4个小时；〔RT0<0.5小时、RPO<4小时〕以上两个业务系统的灾备需求适用4级的国家灾备等级标准，采用冷备模式。
第3章 业务系统灾备建立方案中企通信提供一个完整的异地灾备解决方案：使用异地数据中心的SmartCLOUD™vONE私有云效劳以及生产站点和灾备站点之间MPLS VPN网络连接的效劳来解决由于人为错误、技术故障、自然灾害、病毒木马以及其他不可预知因素导致的数据丧失和业务中断的问题，同时提供一个快速恢复客户的关键任务和业务数据的方案该方案的目的是为了保护集团的数据免受灾难和虚拟效劳器故障所带来的丧失和损坏风险，在业务系统因灾难或故障引起生产站点不可用或者数据丧失损坏时，灾备中心可以完全接收业务，并且灾备中心的数据具有可恢复性和即时性3.1 方案设计思路1. 信息披露系统和股份门户采用主备模式来实现异地灾备；基于两个业务系统的RTO/RPO要求，针对信息披露系统，采用冷备模式；针对股份门户，做镜像站点设计，灾备模式采用冷备模式；生产站点发生灾难时，两个系统均需要进展手工切换；2. 生产站点和灾备站点的复制策略可以针对每台虚拟效劳器〔信息披露系统的web效劳器、HFM效劳器和数据管理效劳器〕进展自定义，并提供vmware虚拟化架构下定时复制和增量复制的功能，针对每次复制任务得执行结果要有日志记录功能，出现异常时具有报警提示；3. 股份门户web效劳器的内容通过后台进展统一发布；4. 股份门户的CMS效劳器在灾备站点处于开启状态，使用文件定时同步〔4小时/次〕的方式满足RPO的要求；5. 针对信息披露系统的Oracle数据库，在灾备中心部署*86架构下的Oracle数据库，通过自动化脚本的方式实现灾备站点数据的定时更新；6. 针对股份门户的SQL Server数据库，在灾备中心部署单机版SQL Server数据库效劳器，通过自动化脚本的方式实现灾备站点数据的定时更新；7. 针对TDS和DNS，在灾备站点的虚拟效劳器中，部署TDS节点，通过MPLS VPN内网同步用户数据；在DNS效劳器上对信息披露系统的域名进展A记录的设定；8. 有不同的恢复方案应对不同的灾难场景3.2 灾备中心VM规划灾备中心规划图：灾备中心VM规划列表：灾备中心VM规划系统名称效劳器名称操作系统应用程序生产站点IP负载均衡IP灾备站点IP启动顺序信息披露系统 Web效劳器windows 2021 R2 〔64位〕FoundationHFM效劳器windows 2021 R2 〔64位〕HFM Bivison数据管理效劳器windows 2021 R2 〔64位〕Bivison报表分析效劳器windows 2021 R2 〔64位〕BIEEOracle效劳器Oracle 11g**股份门户Web效劳器windows 2021 R2 〔64位〕IIS 7.0CMS效劳器 windows 2021 R2 〔64位〕CMS数据库效劳器windows 2021 R2 〔64位〕SQL Server 2021、、TDS身份验证系统TDS效劳器windows 2021 R2 〔64位〕IBM Tivoli待规划域名解析系统DNS效劳器windows 2021 R2 〔64位〕MS DNSvmware虚拟化管理平台vCenter效劳器 windows 2021 R2 〔64位〕vCenter待规划veeam备份控制台veeam备份控制台效劳器windows 2021 R2 〔64位〕veeam backup manager待规划3.3 信息披露系统灾备设计3.3.1 方案设计拓扑图3.3.2 虚拟效劳器层面Ø 针对WEB效劳器、HFM效劳器和数据管理效劳器，实现方式如下：复制类型复制步骤阶段任务初次复制建立复制任务•通过灾备站点的Veeam Server建立复制任务•选择需要复制的VM，复制的时段，vLAN/IP设置等•复制任务的配置〔Metadata〕将存储于Veeam Server上的文件夹中对生产站点的VM进展快照•Veeam通过VMware的快照功能对生产站点的VM执行快照•快照存放于VM自身的数据卷中〔Datastore〕将生产站点的VM复制到灾备站点•将VM的快照全部复制〔Full〕到灾备站点•灾备站点的VM将存储于指定的数据卷中，并处于随时可开机状态•当复制完成后，生产站点的VM快照将自动删除后续复制对生产站点的VM进展快照•Veeam通过VMware的快照功能对生产站点的VM执行快照•快照存放于VM自身的数据卷中〔Datastore〕将生产站点的数据增量复制到灾备站点•将VM的快照和灾备站点现有的VM数据进展比对•将数据的增量复制到灾备站点，更新现有的VM并形成一个新的复原点•当复制完成后，生产站点的VM快照将自动删除根据集团管理信息部对本次工程RTO/RPO的要求，veeam的复制频率设定为4小时/次，并且保存24小时以内的复原点快照；Ø 针对身份验证系统和域名解析系统，中企会在灾备站点部署一套处于开机状态的TDS系统和DNS系统，其中，TDS系统作为集团身份验证系统的一个Slave节点定期从TDS的Master节点获取更新数据；DNS系统的IP地址和生产站点DNS系统的IP地址保持一致，并将信息披露系统的域名解析到，以此确保灾备站点启用后，身份验证功能和域名解析功能处于可用状态。
3.3.3 Oracle数据库设计针对生产站点的Oracle效劳器集群，设计如下：在灾备中心部署*86架构下的单机Oracle数据库，通过自动化脚本的方式实现生产站点Oracle数据的定时导出并定时传输到灾备站点Oracle效劳器，在灾备站点的Oracle效劳器上执行定时导入；〔中企通信会在此次工程中提供具备Oracle数据库的导出、远程传输、定时导入功能的脚本程序，检测脚本〕根据披露系统的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的Oracle效劳器端保存24小时以内的数据导出文件；3.4 股份门户灾备设计3.4.1 方案设计拓扑图3.4.2 虚拟效劳器层面1. 针对WEB效劳器，实现方式如下：通过在股份门户的后台上传功能模块中增加灾备站点的地址，来到达WEB效劳器数据同步的目的；2. 针对CMS效劳器，实现方式如下：在灾备站点单独的一台虚拟效劳器上部署股份门户的CMS效劳，配置不同于生产站点CMS的IP地址，通过自动化脚本的方式实现生产站点和灾备站点两端CMS效劳器的数据每4小时同步一次；3. 整体架构采用股份门户镜像站点的部署方式，正常状态下WEB效劳器通过MPLS VPN内网调用生产站点SQL Server数据库的数据。
3.4.3 SQL Server数据库设计针对生产站点的SQL Server效劳器集群，设计如下：在灾备中心部署*86架构下的单机SQL Server数据库，首先在生产站点的SQL Server设定数据库定时备份策略，定时生成数据库备份文件并传输生产站点的SQL Server备份文件到灾备站点SQL Server效劳器上，通过方案任务定时执行批处理文件的方式进展备份文件的定时恢复；〔中企通信会在此次工程中提供具备SQL Server数据库的定时备份、远程传输、定时导入功能的批处理文件程序〕数据库效劳器IP地址方面，配置不同于生产站点SQL Server集群的地址；当生产站点发生灾难、SQL Server集群效劳失效时，中企通信后台运维人员将手工更改灾备站点的SQL Server效劳器IP地址为生产站点的SQL Server集群IP地址，完成数据库效劳的切换根据股份门户的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的SQL Server效劳器端保存24小时以内的数据导出文件；第4章 灾备网络概要设计4.1 方案设计拓扑图方案描述：1. 针对此次集团管理信息部的披露系统、**股份门户灾备工程；集团管理信息部将采用现有网络设备完成。
2. 将灾备效劳器部署在**宝山机房，使其与集团管理信息部采用MPLS VPN〔**第二*网〕互联，并在此网络上进展灾备数据的传输和生产站点恢复运营后数据的回传3. 中企在**宝山机柜部署2台Cisco3945〔根据带宽的需求选择其Cisco3945，并且可满足未来带宽升级等变化〕连接MPLS VPN网络，在Cisco3945通过BGP从PE接收到达集团管理信息部内部网络的路由4.2 集团管理信息部部署方式1． 针对此次系统灾备工程，集团信息管理部将采用现有网络设备完成灾备数据的转发，不增加硬件设备2． 集团管理信息部访问**宝山灾备中心的路由，由中企的PE路由器通过BGP协议向集团管理信息部的核心交换6509转发3． 集团管理信息部的核心交换机6509将通过BGP协议收到**宝山灾备中心的路由，并将其转发到内网EIGRP网络4． 在集团管理信息部内网部署Veeam代理效劳器，此代理效劳器将单独划分一个Vlan专用于数据备份，但此Vlan需要与vCenter通信4.3 **宝山机房部署方式1． **宝山机房采用2台Cisco3945路由器连接MPLS VPN网络，带宽为20M，路由器分别下联2台DELL交换机，2台路由器为内网提供高可用效劳。
2． 同时部署UTM平安设备连接互联网，带宽为20M，用于**股份门户的互联网接入3． 将部署2台物理效劳器分别上联2台DELL交换机，将披露系统、**股份门户、Veeam效劳器部署在SmartCLOUD vONE私有云上，在交换机上为这3个系统分别创立3个独立Vlan，在Cisco3945路由器配置3个子接口用于对应不同的Vlan，并为每个Vlan提供网关功能4． 2台物理效劳器分别下联DELL存储交换机，通过此存储交换机连接DELL存储设备5． 两台3945路由器上，需要部署少量静态NAT配置,原因是披露系统中Web效劳器、HFM、数据管理效劳器、Ocacle效劳器要求IP地址不能变动，所以在做数据备份时需要在灾备中心CE路由器配置NAT转换，以使得完成路由可达性〔详细说明见〕，**股份门户灾备IP地址可以改变，所以在备份过程中不需要针对此系统配置NAT6． 针对**股份门户的灾备，**灾备中心将重新部署IP网段为，在UTM防火墙上将此内部IP映射到互联网，并在北龙中网负载均衡设备上添加**灾备中心UTM的公网IP地址，当灾难发生时可通过北龙中网设备将流量重定向到灾备中心的门户系统。
7． 披露系统和TDS效劳器属于同一个Vlan，**股份门户属于另一个Vlan，Veeam效劳器单独在另一个Vlan4.4 灾备数据业务流向4.4.1 Veeam灾备数据复制集团管理信息部的VM镜像可直接通过Veeam进展数据备份，Veeam的备份任务是通过**灾备中心的Veeam效劳器进展调度Veeam备份和调度示意图1. 在**宝山灾备中心建立一个Veeam管理效劳器，在集团管理信息部建立一个Veeam代理效劳器2. 在**灾备中心的Veeam管理效劳器中创立复制任务，任务通过MPLS网络调用Veeam 代理端协作复制任务〔蓝色线路〕；3. Veeam代理端与集团管理信息部的vCenter进展授权连接，将生产站点VMware虚拟效劳器的快照文件通过MPLS VPN网络复制到**的灾备中心〔红色线路〕；4. 集团管理信息部为Veeam代理效劳器单独划分一个Vlan〔具体Vlan可在实施阶段协调〕与现有生产网络隔离，Veeam代理效劳器与生产网络vCenter效劳器实现路由可达；5. 复制到灾备站点的快照文件存储在SmartCLOUD vONE私有云的存储中，并处于随时可开机启动的状态；6. 为灾备中心的Veeam管理效劳器划分一个单独的vlan，该vlan ID与灾备中心vCenter的Vlan ID一致，使之与披露系统、**股份门户灾备效劳器相互隔离，4.4.2 应用系统数据复制生产中心的oracle效劳器和股份门户的web效劳器、CMS效劳器以及SQL Server数据库效劳器不通过Veeam进展灾备复制，需要在应用系统层面进展定时的数据同步。
由于信息披露的web效劳器、HFM效劳器、数据管理效劳器以及Oracle数据库效劳器不允许改变IP地址，因此需要在灾备中心的CE路由器〔Cisco 3945〕上进展NAT〔网络地址转换〕的配置，以到达两端对应效劳器之间数据同步的目的；股份门户的web效劳器、CMS效劳器和SQL Server效劳器的IP地址允许变更，并且这三台效劳器的数据定时同步模式基于应用层面来实现，因此，只需在MPLS VPN骨干网络上宣告对应效劳器的路由信息即可到达两端数据同步的目的；1. 生产中心的Oracle效劳器以及披露系统和TDS〔172.2〕不能修改IP地址，因此在备份过程中需要在灾备中心的Cisco3945上配置NAT转换；2. 在Cisco3945上将披露系统的Oracle效劳器以及TDS效劳器IP地址映射为WAN口网段IP地址，生产网络在备份时目的地址为NAT转换后的IP地址；3. 股份门户的三台效劳器〔web效劳器、CMS效劳器和SQL Server效劳器〕可以变更IP地址，因此在备份过程中不使用NAT直接备份，只需保证路由可达即可；4. 灾备中心的虚拟效劳器之间的数据交互，可直接在局域网内进展，各个虚拟效劳器的网关地址都是Cisco3945对应的子接口地址。
4.5 灾备切换场景及业务数据流向分析4.5.1 正常情况下的路由及数据流1. 在生产中心正常工作的情况下，集团的两台6509核心交换机将通过BGP协议向中企的PE路由器宣告灾备系统的路由；2. 中企的PE路由器收到这些BGP路由后，会将这些路由信息通过BGP协议在MPLS VPN网内传播，最终将传到达各子公司的CE路由器〔蓝色线路〕；3. 各子公司将通过集团播送的核心区域路由进展寻址，经过中企的MPLS VPN骨干网后，访问位于集团核心区的信息披露系统〔红色线路〕4. **股份门户通过互联网进展访问；4.5.2 灾备切换场景概述4.5.2.1. 集团管理信息部整个业务系统故障1. 集团生产站点发生灾难性故障，业务系统全部故障，且无法在短时间内恢复业务时，由集团工程师通过、等方式向中企网络发起灾备切换需求2. 中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟效劳器，并按要求修改系统设置〔修改TDS系统的IP地址/修改股份门户web效劳器中数据库的调用地址〕3. 同时中企网络将安排网络工程师，修改灾备中心的PE路由器的配置，按方案将灾备系统相关业务系统的主机路由信息〔披露系统、股份门户、TDS效劳器和DNS效劳器〕通过BGP协议播送到集团的第二*MPLS VPN网内〔紫色线路〕。
删除PE路由器关于生产电点业务系统网络路由4. 集团及各子公司的CE路由器将通过BGP协议接收到灾备中心的网络路由，后续访问披露系统和股份门户的数据包全部传输到**灾备中心5. 当生产中心恢复正常后，中企网络将按照客户要求，将VM数据反向同步到生产中心，并按约定时间删除相应的主机路由播送，路由收敛完成后，业务系统的访问流量将会引导回原有路径〔红色线路〕4.5.2.2. 集团管理信息部*一个业务系统故障6. 集团生产中心的系统发生故障，且无法在短时间内恢复业务时，由集团工程师通过、等方式向中企网络发起灾备切换需求7. 中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟效劳器，并按要求修改系统设置〔如需要〕8. 同时中企网络将安排网络工程师，修改灾备中心的PE端配置，按方案将灾备系统相关的主机路由〔Web、DNS、oracle、披露系统、数据管理效劳器主机IP地址〕通过BGP协议播送到集团的第二*MPLS VPN网内〔紫色线路〕9. 集团及各子公司的CE路由器等将通过BGP协议接收到灾备中心的主机路由，并把这些路由与现有的生产中心路由〔/20、/24等大路由〕同时放入路由表，如路由表中将同时存在及等主机路由。
10. 当用户需要访问已切换到灾备中心的系统时，数据包到达CE路由器后，将进展相应的路由查找，而根据路由最长匹配原则，灾备中心播送的主机路由〔如〕将会作为优选路由，引导数据包流向**灾备中心〔绿色线路〕，如需要访问生产中心的其他系统，则会走原有路径〔红色线路〕11. 当生产中心恢复正常后，中企网络将按照客户要求，将VM数据反向同步到生产中心，并按约定时间删除相应的主机路由播送，路由收敛完成后，业务系统的访问流量将会引导回原有路径〔红色线路〕4.5.2.3. 集团总部外部互联网络故障1. 基于集团信息披露系统和股份门户的访问要求，当集团外部的互联网发生中断故障时，信息披露系统的访问不受任何影响；2. 北龙中网的智能DNS会自动检测和**两地效劳器的状态，当检测到集团总部互联网发生故障时，将自动切换所有访问流量到**；4.5.3 灾备切换情况说明在发生灾备切换时，需要注意以下情况：3. 如果生产中心发生网络故障，导致信息披露系统及**股份门户无法访问，将需要同时切换两个系统及相关联的效劳器到灾备中心；4. 如*个业务系统故障，则只需要切换系统到灾备中心，另外一个系统无需切换5. 集团管理信息部智能DNS效劳器增加**灾备中心公网IP地址，用户股份门户双活访问。
6. 当*个业务系统故障或整个生产站点故障时，中企通信都会在网络中播送相应的主机或网络路由，以替换现存的核心区域大网段路由7. 业务系统切换到灾备中心后，原生产中心核心区域网段内〔如〕的主机及效劳器，将无法访问灾备中心的主机或系统，原因为核心区域的设备会认为灾备中心的设备还在同一个网段内，会进展ARP查询对应IP地址的MAC〔结果为ARP查询超时，无法封包成功〕，而不会进展路由查找，将数据包发送到网关8. 当生产站点的互联网出现故障时，对于信息披露系统的访问没有任何影响；对于**股份门户的访问，北龙中网的智能DNS效劳将生效，将所有的访问流量全部切换到**灾备中心，其余所有的网络构造和业务系统构造不需要做任何改变第5章 数据灾备及数据回复的实现过程5.1 数据灾备过程当生产站点发生灾难，需要启动灾备中心的相应效劳时：Ø 针对信息披露系统的web效劳器、HFM效劳器和数据管理效劳器，故障切换过程如下：1. 在灾备站点的veeam server上选择“故障切换〔Failover〕〞选项，启动故障切换任务；2. 在veeam上选择复原点的快照文件，并启动；3. 等待虚拟效劳器启动；Ø 针对股份门户的web效劳器和CMS效劳器，处理过程如下：在灾难发生后，中企通信的运维人员需要手工将的数据库连接文件web.config中的数据库连接地址变更为灾备站点中SQL Server数据库的IP地址，北龙中网的智能DNS解析效劳器检测到生产站点的效劳器故障后，会自动将所有访问流量切换到**灾备站点，以此保障股份门户在数分钟即可恢复；Ø 针对信息披露系统的Oracle数据库效劳器和股份门户的SQL Server数据库效劳器，故障切换过程如下：停顿灾备站点上Oracle效劳器的定时导入脚本的任务〔信息披露系统〕；停顿灾备站点上SQL Server的定时导入脚本的任务〔**股份门户〕；Ø 针对TDS效劳器，处理过程如下：手工修改灾备站点TDS效劳器的地址为〔与生产站点TDS系统的负载均衡地址一样〕；Ø 以上系统的网络切换局部请参考4.5Ø 最后，虚拟效劳器启动完毕，数据库连接文件修改完毕后，验证灾备站点中虚拟效劳器的状态和数据。
5.2 数据回复过程当生产站点的业务恢复，需要将灾备中心的数据进展回复时：Ø 针对生产站点**息披露系统的web效劳器、HFM效劳器和数据管理效劳器全部损坏的情况，故障切换过程如下：Ø 在灾备站点的veeam server上选择“故障回复〔Failback〕〞选项，启动数据回复任务；Ø 选择故障回复的类型；Ø Veeam将关闭灾备站点的虚拟效劳器，然后将灾备站点虚拟效劳器的快照文件全量复制到生产站点，复制完成后，生产站点的虚拟效劳器自动开启；Ø 针对生产站点**息披露系统的web效劳器、HFM效劳器和数据管理效劳器全部恢复正常的情况，仅需执行网络切换即可完成业务系统的切换；Ø 针对股份门户的web效劳器和CMS效劳器，采用数据反向复制的方式更新两台效劳器的应用程序文件；Ø 针对信息披露系统的Oracle数据库效劳器和股份门户的SQL Server数据库效劳器，故障回复过程如下：Oralce数据库：将灾备站点中Oracle的数据导出一份到生产站点的Oracle效劳器，在生产站点的Oracle效劳器上执行数据的导入工作；SQL Server数据库：将灾备站点中的SQL Server数据备份传输一份到生产站点的SQL Server数据库，在生产站点的SQL Server效劳器上执行数据的恢复工作；Ø 以上系统的网络切换局部请参考4.5Ø 最后，验证生产站点虚拟效劳器的状态和数据后，确认数据回复完成，此时，veeam恢复到故障切换前的保护状态，仍然按照原有的灾备策略执行定时复制任务；第6章 灾备技术说明6.1 Veeam的实现过程本次灾备方案中针对集团总部的vmware虚拟化环境，我们采用veeam backup & replication实现虚拟效劳器的异地复制。
复制过程示意图：复制过程描述：1. 在集团现有Vmware虚拟化环境中部署veeam backup pro*y效劳器负责数据的处理，并在传输过程中执行压缩操作，如以下图；2. 在灾备站点安装部署Veeam Server〔主控台〕，Veeam Server负责管理复制任务，执行Failover和Failback；3. 集团Veeam backup pro*y效劳器(例如每4小时)将所有需要受保护的虚拟机通过vmware的快照功能执行快照处理，快照存在于虚拟效劳器自身的数据卷中,然后定时复制快照至灾备中心的私有云存储阵列中，首次复制采用全量复制的方式；复制完成后，生产站点的虚拟效劳器快照将自动删除；4. 后续的复制任务开场前，veeam会将生产站点新产生的快照和灾备中心的快照进展比照，将数据的增量复制到灾备站点，更新现有的虚拟效劳器并形成一个新的复原点；复制完成后，生产站点的虚拟效劳器快照将自动删除；5. 复制到灾备站点的虚拟效劳器处于随时可开机的状态；6. 在集团的生产站点失效时,所有的备用虚拟效劳器可以手动顺序启动；一旦集团的的生产站点恢复运营,虚拟效劳器将切换回生产站点，并将通过增量复制的方式更新生产站点的数据；6.2 Veeam的优势分析Veeam backup & replication是业内首屈一指的针对vmware/Hyper-V环境下的虚拟效劳器备份灾备解决方案。
迄今为止，它已经为25000多个客户提供了虚拟化环境下强大的数据保护和灾难恢复产品及效劳它具备以下优势：Ø 最大限度减少风险：每隔几分钟复制，更快更频繁地备份，以防止数据丧失另外，通过测试每个备份以确认一切运行正常，来确保备份的可恢复性Ø 降低本钱：以一个低廉的价格提供强大的功能：备份、复制、压缩、去重、应用项恢复、恢复验证、多 hypervisor 支持等等Ø 优化管理：对于大规模部署，Veeam 提供自适应的分布式架构，该架构可动态分配任务，让您无需为工作消耗大量精力，或不断调整工作时间表Ø 支持任何存储器：Veeam Backup & Replication 对存储器无限制Ø 没有代理程序：在任何的机器上都不需要安装代理程序，也不需要人工干预Ø 映像级别的备份：允许客户恢复备份文件中*个单独的内容，也支持整个文件系统的整体恢复Ø 平安的处理和存储：所有的备份数据都会通过SSL加密的方式转移到我们平安的存储网络中去Ø 数据压缩和去重：数据备份的同时会在源端进展自动压缩和去重处理，保证以最小的数据进展传输，提高备份效率Ø 快速的文件和虚拟机恢复：当备份完成时，备份文件立即可以用来恢复，客户可以向我们的效劳平台请求单个文件或者多个文件恢复，甚至虚拟机整体恢复。
Ø 可靠性验证：我们的备份系统会在备份后自动的验证每一个备份文件，保证备份的可用性第7章 灾备工程实施相关7.1 实施方案为了更好的帮助客户进展工程实施，中企通信将提供一流的一站式的工程管理效劳，中企通信的工程师和工程经理将与客户在初始配置的细节方面进展沟通，确定各个环节的配置形式，完成配置表单此过程是为了确保客户的要求能满足，并防止在安装和效劳开通后的任何误解中企通信的工程管理团队将安排与客户的工程会议，讨论工程方案并确定实施时间表；7.2 灾备站点根底设施中企建议集团信息部门采用异地部署SmartCLOUD™vONE私有云的方式实现业务系统的异地灾备；中企通信SmartCLOUD™vONE效劳提供了一个私有的,专用的和平安的，基于VMware vSphere套件管理效劳的虚拟私有根底设施通过建立SmartCLOUD™vONE高可用云计算平台来减少效劳器停机时间和增加业务敏捷性中企通信根据客户的业务需求提供定制的私有云解决方案，由中企通信提供私有云解决方案设计、部署、持续管理和操作，它显著减少运维复杂性和运维本钱，并能在更短的时间内完成客户业务系统灾备体系的建立；SmartCLOUD™vONE效劳是一个本钱可控和全面的一站式解决方案,提供了以下主要特点：Ø 私人和专用的基于云平台的高可用性的保护；Ø 独享的效劳器、存储设备和网络设备；Ø 提供了一个双因素认证平安令牌；Ø 云平台的根底设施采用N+1的冗余架构,完全杜绝由硬件故障带来的业务系统瘫痪；Ø 简单扩展，资源量增加时，只需增加ES*i主机即可完成私有云资源的扩展；Ø 中企通信后台团队提供从硬件根底设施到云平台资源池的7*24小时运维监控效劳；Ø 集成MPLS VPN网络和BGP互联网。
SmartCLOUD™vONE效劳**宝山数据中心的SmartCLOUD™vONE私有云架构采用两台高配置*86效劳器和一台集中存储阵列，使用Vmware vSphere5.1进展效劳器虚拟化；采用SAN集中存储方式，这样可以将每个虚拟机的文件系统创立在共享的SAN集中存储阵列上，VMware VMFS 虚拟机文件系统，是一种高性能的群集文件系统，允许多个ES* Server 安装同时访问同一虚拟机存储支持通过 VMware VirtualCenter、VMware VMotion™技术、VMware DRS 和 VMware HA 提供的基于虚拟化的分布式根底构造效劳由于VMware的虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和假设干相关环境配置文件，通过将这些文件放在SAN存储阵列上的VMFS文件系统中，可以让不同效劳器上的虚拟机都可以访问到该文件，从而消除了单点故障该架构配置采用两台高配置Dell PowerEdge效劳器〔Intel(R) *eon(R) Processor E5-2650 2.0GHz, 8C * 2/192GB Memory/300 GB SAS Hard Disk * 2〕，该效劳器最大配置为〔Intel(R) *eon(R) Processor E5-2650 2.0GHz, 8C * 2/1.5TB Memory/300 GB SAS Hard Disk * 2〕；一台Dell存储阵列〔1TB *12 7.2K NL-SAS, with Dual Controller 2U ，RAID-10)，最大可用空间6TB；硬件连接示意图如下：SmartCLOUD™vONE私有云硬件架构7.2.1 软硬件选型Ø 硬件设备型号配置数量Dell Server*eon E5-2609/256GB/1TB*42Dell EqualLogic系列存储14个2.5英寸硬盘，采用6 Gbps SAS后端；两个热插拔10 GbE控制器，每个控制器 配备4 GB内存1Dell 千兆交换机24口千兆交换机2Dell 光纤交换机24*10GbE SFP+ port2TrustCSI UTM FG100。