Oracle SSC紧急故障救援流程

 

作者为: 

SHOUG成员 – ORACLE ACS高级顾问罗敏

本文地址:https://www.askmac.cn/?p=16600

 

为满足重大故障的紧急救援需求,SSC提供了如下的专业化、制度化的救援流程:

 

 

ssc1

即一旦客户IT系统出现1级或升级2级严重问题,客户DBA可第一时间拨打Oracle公司专门为SSC客户提供的7*24小时的值班电话,当SSC值班工程师接到救援电话之后,会马上听取客户的情况介绍,并判断问题的严重程度和影响范围。根据客户需求和问题情况,SSC可确定是否可以通过电话或VPN登录方式,进行远程解决 。同时,客户也可拨通服务实施经理(SDM)电话。SDM可与SSC工程师沟通故障情况,并根据客户需求确定是否需要安排工程师去现场。如果的确问题非常严重、难以远程解决, SDM会果断决定派出客户当地城市或最近城市的工程师,同时深圳的SSC团队也会考虑派出工程师赶赴现场。当工程师到达客户现场后,会立即与客户运维团队、应用开发商、 硬件等其它厂商进行会商,并根据问题症状分析出问题原因所在,最终提供问题解决方案并加以实施。在故障彻底解决并验证之后,将提交故障处理分析报告。

以下就是Oracle最近在某移动公司出现重大故障时的响应速度:

 

 

时间点 操作内容
… … … …
10月30日 21:58 在节点2出现ORA-600 [qertbFetchByRowID]告警,紧接着节点1也出现ORA-600 [kclchkblk_3]告警
10月30日 22:00 业务方面反映20多张表不能插入
10月30日 23:04 重启数据库后,数据库还是出现ORA-600 [kdsgrp1]告警
10月31日 2:10 SSC值班接到保障电话,开始对问题进行分析
10月31日 3:00 SSC工程师远程登陆数据库,对有问题的表的索引进行分析及重建,发现相关索引在重启后恢复正常。
10月31日 6:00 发现大部分表恢复正常访问,业务基本恢复,但后台持续有报错。
10月31日 6:06 容灾库尝试启动但报错ora-01172无法启动
10月31日 6:45 华东区工程师从杭州出发赶往现场支持
10月31日 7:00 SSC工程师从深圳出发赶往现场支持,
10月31日20:00 现场多次checkpoint后,断开同步后,容灾库正常启动成功
… … … …

可见当该移动客户在10月31日21:58分发现Oracle出现故障之后,刚开始通过自身DBA和第三方运维公司技术人员进行自救。但23:04采取重启数据库之后,数据库还是出现相关错误,不得已在凌晨2:10拨打了SSC值班电话, SSC一方面通过电话进行问题分析,另一方面在解决了远程登陆问题之后,于3:00登陆至客户系统进行分析,并采取了针对性的救援措施,缓解了部分问题。但仍然没有彻底解决问题,于是,Oracle果断决定派出工程师,本地工程师6:45从杭州开始赶头班高铁赶赴现场,深圳的SSC工程师赶7:00的头个航班飞赴现场。这就是SSC服务包为客户提供的最高级别响应速度和服务级别了!

而且,就是为了解决该客户的此次重大故障,尽管最终原因是硬件厂商的磁盘镜像技术导致的数据损坏, Oracle其实是受害者,但Oracle不惜血本,从本地到远程,从国内到国外,Oracle投入了120多人天,而且还没有包括管理层、销售层面的大量投入。最终不仅是Oracle公司发现了问题根源,并有效解决了该问题,以及延伸的其它问题,而且在未来如何根治该类问题,从IT系统高可用性架构、容灾建设等方面给予了客户更广泛和深远的建议。

这就是SSC紧急救援和主动服务相结合给客户带来的价值和回报!

  • A类和B类的紧急故障救援

SSC服务包是以系统套数进行计价的,但服务的系统又区分为A类和B类。故障紧急救援方面,针对A类系统的服务项目如下:

  • 1级SR和升级2级SR故障7×24紧急救援
  • 1级SR恢复阶段的7*24跟进与分析
  • 1级SR和升级2级SR的问题的根源分析跟进(5*8跟踪)
  • 问题的管理与跟踪(报到SSC平台的1级和升级2级问题)

同时,故障处理由Oracle资深专职组工程师负责,针对1级故障(SR1)一天两次的主动通知,2级故障(SR2)每周汇报。根据oracle全球支持策略,1级故障为7*24跟踪,1级以下故障为5*8跟踪。 1级故障当系统恢复正常后, 降级为2级故障进行根本原因定位分析。

针对B类系统的服务则是:仅对1级SR故障进行系统救援支持,系统恢复服务后,工程师离场并不再提供任何问题的持续跟进和原因分析。

总之,A类系统的故障救援服务更为全面,既救命又治病,而B类系统则只救命,并不负责根治所有疾病。当然,A类系统的服务价格更昂贵。

如果客户系统很多,又都需要紧急故障救援服务,如何在价格和服务价格之间进行平衡?建议就是将需要保障的系统都纳入SSC服务范畴,但在A类和B类之间进行平衡,毕竟B类服务价格相对A类便宜很多。

 


Posted

in

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *