信息系统故障应急处置不仅体现医院信息化水平，更是对医院管理水平和能力的全面“大考”。
作者：北京友谊医院信息中心 张旭 王力华
其他
信息系统“中断”50分钟：北京友谊医院中秋前夜实战上演应急“大片”
2019年国家层面大事多喜事多，但是对于位于首都核心区的医疗机构来说，其公共卫生服务保障任务的压力巨大，同时对医院信息系统的安全性也是非常严峻的考验。一所医院的信息系统无论建设得多么完善、健壮，都可能会有“掉链子”的时候，此时的信息系统故障应急处置将是最为重要的措施，不仅体现医院的信息化水平，更体现医院的管理水平，必定是对一所医院能力的全面“大考”。
2019年9月12日晚，中秋节前夜，北京友谊医院开展了一次全院范围的信息系统故障应急实战演练，在西城和通州两个院区同步进行。本文简要记录了此次演练的过程，期望能给大家呈现一部医院信息系统实战演练的“大片”，引发医院信息同行的交流和共鸣。
医院领导高度重视此次应急实战演练，由医院办公会批准授权执行。按照之前确定的信息化应急领导小组，由医院党、政一把手任组长，信息化主管副院长任常务副组长，各副院长任副组长，组员是各职能管理部门主任。
应急实战演练的“总导演”由信息化主管院长担任，负责统筹医院各相关部门的高度配合，组织开展相关会议，并将演练的执行进度汇报给应急领导小组。信息中心主任为“执行导演”，负责执行上级指令、演练技术方案设计、行动指挥、时间线把控、突发事项处置决策、演练进度上报等，在演练中统筹管理信息中心各岗位工作。
应急实战演练并不是“纸上谈兵”、“案上比划”，与真实故障应急处置唯一不同之处就是“有计划、有准备”。信息系统应急演练绝不是医院信息中心一个部门的工作，涉及医院每个职能部门、业务部门的高效联动。在前期筹备阶段，医院各职能部门、相关临床医技部门召开了两次准备会议，由信息化主管院长召集，各部门负责人和业务骨干参加，会上明确各部门工作分工，交流讨论演练期间可能遇到的各种问题以及处置方法，强调部门间的协作。
应急实战演练多部门准备会
信息中心作为此次演练的技术部门，负责技术准备和技术操作，制定应急演练技术方案，并自主研发了新版本应急单机版程序，对收费环节的功能做了较大改进，在辅助医生开医嘱的同时，生成并打印收费二维码凭单，收费员扫码即可一键完成结算，大幅加快了应急期间的诊疗效率。
程序打印的收费二维码凭单
应急演练技术团队由信息中心和系统厂商人员组成，按工作任务划分为链路切换、主备机切换、应急程序保障三个工作组，以西城院区（HIS主服务器的所在院区）为主，两院区人员均衡配置。
“剧本”即演练技术方案，描述演练“剧情”的发展脉络和角色的动作编排。结合我院多院区的性质、业务流程的特点和信息系统的现状，信息中心对演练内容和形式进行了多轮技术性研究和可行性推演，确定进行HIS主备服务器切换、院区间光纤链路切换和应急程序实操等三个项目。
我们对每个演练内容编制了详细的演练操作方案，包含前期准备、演练操作、回退方法、问题与解决方法、桌面消息发布等的操作步骤，每一步骤描述精确到院区、设备、端口、命令代码、推送消息文本内容等，在演练过程中技术操作人员只需要按顺序执行方案即可完成任务，避免因代码和文本编写、解决方案思考推敲而耽误宝贵时间，降低误操作的风险。
为了便于对整体演练过程的统筹，我们对演练技术方案内容进行概括，以时间为主线编制了任务清单，突出各任务名称、时间节点、人员分工、任务间关系等要素，为各操作人员提供流程性指导。
1. 演练前3小时
参与演练的信息中心全体人员，利用远程医疗系统进行两院区协同桌面推演，强化演练操作步骤。
2.演练即将开始
在演练前我们选取三个时间点，利用桌面管理系统向医院所有工作站电脑推送演练预警通知，提醒医务人员做好各项准备，在演练开始前务必保存诊疗信息、结束HIS系统操作。
演练预警桌面通知
在演练前半小时，开始对HIS主机集群状态和节点信息进行检查。与此同时，应急程序保障组人员开始核查各诊区的应急程序安装情况，提醒医生、收费员做预备，通报各诊区HIS使用情况。
在演练前5分钟，开始进行网络测试，两院区采取持续PING对端靶服务器的方式监测网络连通状态，对演练涉及的网络设备配置文件做备份，同时，停止自助机、移动互联网应用服务。
3.演练正式开始！
9月12日22点，HIS服务器切换演练、院区间光纤链路切换演练、应急程序使用演练同时启动。
（1）HIS主备服务器切换
主备机切换工作组执行演练操作，正常关闭所有HIS系统ECP服务，确保ECP缓存中的业务数据完全同步到主数据库。西城院区人员手动拔除高可用集群主节点网线，同步查看切换日志，验证确认了资源组已正常漂移至备用节点，立即在此节点下测试HIS可用性，正常可用后开始逆向操作。随后，恢复主节点网络，恢复高可用集群，拔除备用节点网线，同步查看切换日志，验证主节点已接管业务，立即在此节点下测试HIS可用性，正常可用后恢复备用节点，检查HIS主机集群已恢复正常状态，启动HIS系统ECP服务，各业务系统验证成功，HIS服务器切换演练顺利完成。
（2）院区间光纤链路切换演练
链路切换工作组执行演练操作，西城院区人员通过命令关闭西城内网核心交换机到通州主链路端口，触发院间主网络断链故障。此时网络连接测试结果未达到预期，网络不通，检查路由浮动情况后发现备用链路一台交换机配置有问题，不做处理，立即回退，网络恢复，院区间光纤链路切换演练终止。
（3）应急程序使用演练
应急程序保障工作组的人员分布在两个院区各急诊科室现场，在切换期间对应急程序使用做指导，反馈现场情况，同时负责业务系统的验证和系统可用反馈。演练期间，应急程序共完成9位患者多笔收费和挂号业务。
HIS业务恢复后，立即利用桌面管理系统向医院所有工作站电脑推送演练完成、系统恢复的通知。
整体演练时长短于预期，用时50分钟，期间各诊区均有患者就诊，未因应急演练而造成大的拥堵和排队，就诊环境井然有序。
收费员使用应急程序扫码收费
我们这次信息系统应急演练总体是成功的，但也有一些遗憾，为下次演练或实战积累了宝贵的实践经验。总结了几点心得体会与大家分享：
显而易见：信息系统应急演练不同于其他医疗演练，只有在真实环境下的历练才能有真正意义；
记忆深刻：在此次应急演练准备会上，多部门均拿出了自己专业内较有实操性的应急方案，并对半年前演练中的经验如数家珍，因此保证一定频率的演练能够加深用户的记忆，减少对信息系统故障的恐惧；
一丝不苟：为减少对临床诊疗工作的影响，我们特意把演练时间窗设定在夜间，直接参与者不多，然而在整个准备过程中，全体人员都相当认真，反复熟悉应急预案，充足准备应急用品，开展应急培训，把演练当真练，达到了一定的普及性演练效果；
迭代改进：上一次HIS主备切换演练中，没有达到自动切换的效果，之后我们修复了系统缺陷，通过这次的演练得以验证，所以，演练推动了信息系统的逐渐健壮。
收获满满：通过演练我们能够熟悉流程、发现问题、克服困难。只有经历多次演练、多次实操的磨炼，蓄积经验，才能在真正遇到故障时从容应对，泰然处之；
仍有遗憾：在演练中会有很多问题暴露出来，演练后我们都会及时总结和复盘经验与教训，修补系统缺憾，优化程序不足，力求将演练的效益达到极致。
衷心感谢：信息系统应急演练虽然主要是技术工作，但需要全院的支持和配合。信息中心团队都十分珍惜这次难得而短暂的演练时间，也特别感谢院领导和各部门的全力支持。
夜深了，中秋的凌晨，不但没有月亮，反而下起了雨，参加演练的人员逐渐离开了，但仍有一些人员仍然在查找问题……
HIT专家网∣致力推进中国卫生信息化
想加入HIT专家网专业交流群吗？
请添加“HIT专家网”小助手微信好友
（请务必注明姓名、单位名称、职务、主管技术或产品领域等实名信息）
微信订阅号：HIT180com
微信服务号：chinaHIT
投稿：tan_xiao@hit180.com
商务合作：(010)82373062