灾备中心及省级核心系统

应用级容灾建设应用实践

（广东省财政厅）

随着“金财工程”建设的开展，部门预算、国库集中支付系统、非税收入管理等系统的相继开发上线使用，财政业务管理工作逐步实现网络化、信息化，业务管理对信息系统的依赖程度不断上升，如何保障财政部门信息系统和数据的安全已显得十分迫切。特别是2001年9月11日发生在美国的911事件，引起了全社会对突发灾难事件的重视。为有效应对突发灾难事件发生，提高我厅信息系统抗击风险的能力，保障业务管理工作的连续性，在充分调研和科学论证的基础上，2005年我厅启动了“金财工程”广东项目（一期）灾备中心和省级财政核心业务系统应用级容灾的建设工作。2006年8月，我厅召开了“金财工程”灾备系统建设实施方案研讨会，广泛征求了业务部门、灾备专家、地市代表的意见和建议。在明确灾备中心的选址和建设方案后，2007年5月组织了项目的招标，当年完成了项目的集成和测试工作。在完成项目验收和灾难模拟演练后，2008年灾备中心正式投入使用。系统建成后，我厅业务系统和数据安全得到增强，达到预期的建设目标。近年来系统运行稳定，对保障我厅信息安全发挥了积极作用。现将有关情况汇报如下：

一、建设思路

我省灾备系统的建设思路是按照“统一规划、统一建设、分步实施”的原则，分期建设“金财工程”广东项目（一期）灾备中心，为省级和地市财政部门提供容灾服务。一期重点建设省级财政部门核心业务应用级灾备系统，以及省级财政部门重要业务系统的异地远程备份系统，提高省级财政部门业务应用系统和数据的安全性，增强抗击突发事件风险的能力。二期建设重点是完善省级财政部门数据的本地和异地数据备份系统，同时建设异地数据备份中心，为地市财政部门提供远程数据备份服务。

在规划和设计过程中，坚持“两个注重”：注重遵循国际国内容灾技术标准；注重借鉴银行、保险、证券以及税务部门容灾系统建设的成功经验，并结合财政部门的实际确定容灾系统的层次和灾难恢复能力。在技术实现上，采用成熟可靠的主流技术，在整合的基础上，达到“两个实现”：省级财政和地市财政的重要业务系统数据实现基于存储的远程数据实时备份；省级财政部门的核心业务系统实现应用级灾难备份，保障业务系统的持续运行。

二、具体情况

（一）技术路线。通过比较当时各种容灾技术，包括基于存储设备硬件级数据复制技术，主要有HP、IBM、EMC等相应产品，以及基于软件级数据复制技术，包括Symantec SF+VVR、Oracle GoldenGate、Quest SharePlex、国内研发等产品，以及这些技术对我厅应用场景、管理要求、容灾切换速度、适用性等方面的优缺点后，最终选择了Symantec SF+VVR。主要是考虑Symantec SF+VVR技术比较成熟，应用广泛，该技术可根据容灾通讯线路带宽和业务数据负载，自动选择同步或异步方式，确保数据及时实现同步，同时后期维护管理压力较小。

（二）灾备中心选址。按照容灾中心选址的有关标准、规范，选址重点考虑自然地理条件、配套设施、周边环境、成本因素、政策环境、高科技人才资源环境、社会经济人文环境等因素。

综合考虑投资、后期维护等因素，最后选择佛山市南海区作为“金财工程”广东项目（一期）的灾备中心，采取租用省地方税务局南海数据中心部分机房的方式建设灾备系统。该中心地处广东省中北部，距离我厅约45公里，约60分钟车程，距离佛山火车站18.1公里；距离广州火车站26.7公里；距离广州白云机场43.8公里，交通便利，通讯、电力等基础设施齐全。根据南海区历史资料统计，该地区地质灾害少。同时该区域云集了国家税务总局南方灾备中心、中国人民保险集团南方数据灾备中心、富士通及联合利华等跨国企业的数据中心。

（三）方案与实施。经过充分调研和对容灾需求进行分析，“金财工程”广东项目（一期）灾备系统（一期）建设将国库集中支付系统、非税收入管理系统、财务核算集中监管系统、政府采购系统等确定为应用级容灾，其余业务系统为数据级容灾。主要的硬件设备包括用于内网容灾设备（IBM DS8100存储 x1套、IBM p590 小型机 x2套、IBM BladeCenter 含14刀片 x1套、Cisco 4506核心交换机 x1台）以及外网容灾设备（HP EVA8000存储 x1套、HP Superdome 小型机 x2套、HP c7000 含10刀片 x1套、Cisco 4506核心交换机 x1台）。灾备软件采用Symantec SF+VVR。通讯采用MSTP链路，线路带宽200M。

系统建设分为三个阶段，第一阶段为项目准备和招投标阶段，于2007年8月底完成。第二阶段为灾备中心建设阶段，主要完成系统调研、方案设计、设备安装调试、生产系统改造、灾备系统集成。第三阶段为容灾演练阶段。实施步骤如下：首先在灾备中心安装灾备设备，将生产中心的应用和数据切换到灾备中心，再对生产中心进行改造，替换不兼容的硬件、软件，重装系统和进行参数重配，然后部署灾备软件，使生产系统与灾备中心的系统同步，最后对灾备系统进行测试演练验证。

（四）应用情况。我省应用级灾备系统投入使用后，纳入应用级灾备的业务系统数据每天实时通过网络从生产中心同步备份到灾备中心。由于灾备中心与我厅距离较近，受人员等因素限制，我厅在灾备中心没有安排人员值班，灾备系统日常的监控管理工作主要通过远程登录方式进行操作，设备的日常维护、巡检工作由外包服务商定期到现场执行，自投入使用以来系统运行基本稳定。

按照信息安全等级保护和灾难应急预案管理的有关要求，我厅每年都要组织进行一次容灾演练，并根据演练的情况对应急预案进行修订，确保应急预案的准确性、完整性。

1.建立灾备应急预案。灾备系统要应用好，首要的是制订灾备应急预案。灾备系统建立后，广东省财政厅根据信息系统灾难恢复规范，结合实际情况编制了灾难应急预案。预案包括了目标和范围、组织和职责、联络和通信、灾难处理流程、预案的变更流程、恢复及重续流程、灾后重建和回退流程等部分。应急预案明确了预算执行系统、非税收入系统、政府采购系统、会计信息管理系统等多个系统的灾难恢复目标（RPO、RTO），以及在各种灾害发生时，灾备系统的启动条件，组织及个人的岗位职责、恢复流程、详细操作等。

2.定期演练。灾难的发生难以预料，如何让应急预案真正有效的执行是关键点，因此定期演练和严格的管理和执行是制订灾备应急预案后最重要的事情。容灾演练是灾备建设的重要一环，它将实时测试容灾应急方案是否存在漏洞，保证将来灾难发生时灾备系统真正生效。为此，广东省财政厅定期进行演练工作。在演练计划中，广东省财政厅事先编制灾备演练剧本，规定每个人的角色，根据演练计划严格执行。演练计划中，重点关注用户范围广、业务持续性要求高的非税收入管理、会计人员信息管理、政府采购、预算执行等系统。

3.建立风险预警机制。为减少灾难发生时业务系统停机时间和保证数据迁移的安全，广东省财政厅建立起一整套完备有效的风险预警机制。对每一次业务系统切换，事先充分考虑到各种风险，并对每一次操作建立应急处理和回退流程，以保证数据的安全。

三、几点体会

我省灾备系统建设的顺利开展和成功实施，关键在于厅领导的高度重视和全力推进，有赖于财政部中心领导和兄弟单位的悉心指导，业务部门的密切配合，项目实施单位的积极参与和精心组织；有赖于项目的科学规划、设计和规范管理。主要体会如下：

（一）厅领导高度重视。灾备中心建设是“金财工程”广东项目（一期）建设的重要组成部分，也是我厅信息安全体系建设的重要内容，我厅此项工作的顺利开展，得益于厅领导的高度重视，全程指导。在灾备中心选址阶段，时任广东省财政厅厅长刘昆同志亲自带队考察佛山南海省地方税务局南海数据中心，并协调灾备机房的租用事宜，指示有关工作要做到“务必万无一失”；在建设阶段时任副厅长曾志权指示要“将工作做实做细，在改造过程中注意衔接，确保数据不丢失，并尽可能少影响工作”。

（二）严格遵循标准规范。规划和建设过程严格遵循国际Share78标准、《信息安全技术 信息系统灾难恢复规范》（GB20988-2007-T）、国务院信息化工作办公室颁布的《重要信息系统灾难恢复规划指南》（2005年4月）及《关于加强国家重要信息系统灾难备份工作的意见》、《数据中心电信基础设施标准》（TIA-942）、《计算机信息系统安全保护等级划分准则》（GB17859-1999）、国家网络与信息安全协调小组办公室《做好国家重要信息系统灾难备份的通知》、国家信息化领导小组《国家信息化领导小组关于加强信息安全保障工作意见》等要求，避免项目出现重大偏差，确保工程质量。

（三）充分借鉴同行成功经验。银行、保险、证券以及税务部门是信息化建设开展较好，灾备系统建设较早的部门。在规划和建设过程中，我们充分分析有关案例，实地走访察看建设情况，在方案论证阶段注意听取业内专家的意见建议，使我省容灾系统建设做到扬长避短，少走弯路。

（四）科学合理制订建设方案。RPO（recovery point objective）和RTO（recovery time objective）是应用级灾备系统建设的重要技术指标，RPO和RTO值越小，投资越大，反之RPO和RTO值越大，投资越小。如何既保障安全又有效减少投入，需要合理选择RPO和RTO值，科学制订技术方案。在详细评估我厅信息系统面临的风险对业务影响以及业务管理的容忍度，得出了切合我厅业务需求合理的RPO和RTO值。在技术方案的选择上，一方面强调成熟度和可靠性，另一方面注重考虑后期管理维护的成本，以及产品可持续升级等方面的因素。在比较了主流的技术产品后，结合我厅的实际情况，选择了Symantec SF+VVR作为灾备软件。

（五）精心组织项目实施。为保证项目的顺利实施，我厅制订了《系统实施方案》、《系统实施操作手册》、《系统环境检查列表》、《实施结果及时间点检查列表》、《系统测试方案和手册》等项目文档。灾备中心项目建设实行监理和例会制度，在实施阶段，项目实施小组周密安排人员，各有关单位加强协调配合，合理调配资源，按照国家有关标准，严把质量关，认真处理每一个细节，落实每一项工作。为保证工作进度，项目小组对实施工作进行了密切跟踪与监督，每天对实施进度进行统计分析，对存在问题及时召开会议进行研究解决，对个别情况较特殊、问题较多的系统改造（如非税系统），积极争取相关部门的支持配合，对重要节点按照项目文档逐一确认进行检查，确保了项目质量和施工进度。

（六）不断完善运行机制。灾备系统建设容易应用难。系统建成后，需要建立一套管理制度和措施确保人员与灾备系统联动以应对可能发生的极端情况。为此，我厅技术人员与业务人员根据实际可能，共同研究制定了《紧急故障恢复手册》及《容灾演练方案》等管理制度，建设可靠的应急机制。同时，定期针对大规模断电、服务器及存储故障等多种可能出现的情况进行系统演练，及时对演练文档、技术文档和质量管理文档进行整理，建立形成系统维护和操作手册、日常维护快速查询手册，为日常管理、维护及应急处理，为日后系统的完善、发展提供资料储备。此外，为保证灾备系统的稳定运行和规范操作，省财政厅根据演练中出现的新情况，进一步细化和完善有关制度和管理办法，使其更具针对性和有效性，确保系统使用和管理制度化、规范化和程序化。

四、建设成效

我省应用级灾备系统建成后，在核心业务系统和数据的安全性保障，配合生产系统改造和稳定运行等方面都起到了重要作用。

（一）提高了我厅核心业务系统和数据的安全性和抗击风险的能力。目前我厅部门预算系统、预算执行系统、非税收入管理系统、政府采购系统、财政业务综合管理平台、稽核系统、财务核算集中监管系统等重要应用系统作为应用级灾备已纳入灾备中心管理。其他主要业务系统数据也实现了远程异地备份。

（二）保障了业务系统运行的可持续性。近年来，我厅生产中心因设备老旧、处理能力不足，也在进行升级改造，在升级改造期间，我厅将设备改造涉及的应用系统，切换到灾备中心运行，生产中心的设备按计划实现停机检修、升级，使应用系统服务不中断，保障了改造工作的顺利进行。在服务器故障、机房设备故障、停电等意外事件发生时，部门预算、预算执行、非税收入、政府采购、会计人员信息管理等系统通在灾备系统中持续运行，保障各业务的稳定，尤其采购招投标、会计考试、非税收缴费等面向群众业务，使政府能按时、按质提供优质服务，保证了政府部门的权威性。

（三）缓解了生产中心的处理压力。按照“平战结合”的思路，当生产中心处理能力不足时，将部分应用切换到灾备中心运行。2010年，灾备系统建成后，我厅即将预算执行系统（国库支付）切换到灾备中心运行。近年来，由于我厅生产中心设备进行了升级，预算执行系统又切换回生产中心运行。

（四）提高了资源利用率。项目建成后，利用灾备中心的部分富余资源搭建应用系统和数据临时测试环境，提高灾备中心资源的利用率，解决了我厅应用测试环境不足的问题。依靠灾备系统建立的业务仿真环境，提高测试及故障原因分析的有效性。

五、下一步工作思路

一是在一期建设的基础上，做好二期建设，完善本地和异地数据备份系统的建设，完善数据备份管理的有关制度，为地市财政部门提供数据备份服务。

二是完善我厅网络系统线路的备份，在省电子政务网络的基础上，通过第三方运营商增加备份线路，提高网络的冗余性。

三是通过开展定期的技术演练，不断完善灾备预案，提高人员组织、协调、配合、操作和反应能力。

四是做好灾备系统的维护工作。当前我厅信息化工作仍然处于建设期，应用开发、整合、升级、改造工作仍在继续，因此，做好灾备系统的日常维护工作是保障灾备系统在关键时刻发挥作用的重要内容。

六、有关建议

（一）建议在规划阶段明确应用级灾备项目的容灾场景。不同的容灾场景对灾备系统建设方案有不同的要求。我省应用级灾备系统在规划阶段系统分析评估了信息系统面临的各种风险后，认为生产中心所在地发生战争和出现严重地质灾害的可能性较小，主要风险来自生产中心机房部分瘫痪（网络正常）或系统主机设备出现严重故障短时间难于修复等情形。如果按照应对战争严重地质灾害等极端场景规划，一方面容灾中心的选址及建设投资现阶段无法解决；另外一方面我省信息系统网络依托广东省电子政务网络和部分电信运营商的线路搭建，当发生战争或出现严重地质灾害时，这些公共网络通信设施是否能将预算单位等用户接入并持续提供服务存在不确定性。同时，财政核心业务系统主要面向预算单位，为应对极端情况的发生，我厅已经制定了国库集中支付系统灾难应急预案，可以启动手工流程进行资金拨付，保障财政业务工作的连续性。

（二）建议在建设阶段把握好应用级灾备项目的启动时点。在大规模的网络和应用系统开发尚未结束时，不宜过早启动应用级灾备系统的建设，否则灾备系统后期的维护，如应用的部署、程序的同步更新、网络的调整，以及灾备预案的修订等工作较为频繁，不利于灾备系统的稳定运行。建议先建设和完善本地数据备份，有条件的可以同步开展异地远程数据备份中心建设，以保障信息系统数据安全为主要目标。