【彭建明专栏】IT运维系列谈（4）：2017年最复杂的一次性能调优

导读

在我记忆里，还没有一次系统性能优化花了这么长时间，且没有结果。

新疆维吾尔自治区人民医院信息中心副主任  彭建明

新疆自治区人民医院是新疆最大的三级甲等综合医院之一，年门诊诊疗人数220万余人次，出院病人15万余人次，手术8万余例。医院经过二十几年信息化建设，已经实施了包括HIS、LIS、PACS、住院电子病历、门诊电子病历、护理移动查房,集成平台、数据中心等近50个信息系统，客户端电脑有3000多台，医院的主要业务都已实现了信息化，2016年在国内率先通过了国家卫计委的六级电子病历评测。

医院现在的HIS是2004年上的，数据库数据容量有1.3TB，是两台IBM小型机搭建的ORACLE 11G RAC；电子病历是2005年上的，三层架构，一台IBM小型机ORACLE 11G 数据库、两台Windows 2008 Server应用服务器，现在数据库容量有1.5TB。这些系统都是我亲手搭建的，又有20年的工作经验，所以我对维护这些系统很有信心，系统时不时出些问题，我也能手到病除。

系统变慢

2017年很忙碌、也很顺利，转眼到了年末。冯小刚的《芳华》上映了，反响很不错，我陪爱人也趁着周末，慕名去看了这部贺岁电影。

电影演到了一大半，周边很多人都进入了角色，有很多抽泣声。我的电话却不合时宜地响了，而且是一个接着一个，有科室值班人员、有门诊医生、有总值班，大家都在反应一个问题：医院系统慢，尤其是医嘱处理，HIS和EMR界面切换，尤其慢。

旁边一个妹子实在受不了，带着哭腔对我说：“大哥，你电话这么多，能不能出去接电话？”

我很不好意思，赶紧回家，打开电脑和信息中心值班人员配合远程诊断系统。很快一份性能报告出来了，报告中最慢的TOP5语句，三条都是关于医嘱的。我分析了一下，修改了两个表的索引，增加了一个表索引，效果很明显，三条语句COST都从1000多降到20多。值班人员反馈，系统好像快了很多。我也很有信心，应该和以前一样，问题解决了。

三天找不到原因

周一是我们医院最繁忙的一个工作日，系统没有如我所愿的快了，我和信息中心同事都经历了巨大压力。电话从还没上班一直到下班，不停地在响，系统慢！

我一直在分析原因，找了几处问题，我和公司的工程师相应地对问题进行了处理，但几乎没有什么效果。中午我很晚才去食堂吃饭，碰到一个熟悉的主任，他半开玩笑地对我说：“我半天的门诊，被你们电脑搞成一天了。”

终于熬到了下班，电话一下少了很多。我又加了三小时班，对一天的工作进行了总结梳理。根据我的经验，系统慢最有可能还是出在软件层面，医院现在系统从软件层面分析，HIS、EMR、集成平台、医保智能控费，这四个系统最紧密相关，任何一个环节出问题都会导致系统慢。网络也有可能导致系统慢，但概率很小。我工作近二十年碰到网络导致系统慢，不超过三次。

系统慢最好是串行方式处理，一个一个系统去分析、处理、排除。并行方式处理问题很容易把问题越搞越糟，就算是把问题处理好了，也不清楚是怎么搞好的。

周二我带着厂家的软件工程师一个系统一个系统去分析、优化处理。我们对HIS、EMR、集成平台的数据库进行了语句级别的优化，对HIS、EMR扩大了内存参数。让医保工程师对医保控费数据库进行了临时数据的清理和索引重建。我们忙碌了一天，电脑系统还是像得了间歇性神经病，一会快一会慢。

转眼到了周三，系统依旧慢。在我记忆里，还没有一次系统性能优化花了这么长时间，且没有结果。科室一个同事开玩笑说：“不行，我们去拜拜关二爷吧！”他说出了我的心声，我真想拜菩萨。

原因找到了！

网络优化是最后一个环节，我没有抱太大的希望。我和网络科长、几个网络工程师、系统管理员开了一个问题讨论会。系统管理员突然说：“我们这几天有两台域控制服务器和一台文件服务器，网络时断时续，360防护软件报有ARP攻击（Address Resolution Protocol，地址解析协议），我感觉和系统慢没有关系，就没有汇报。”

我们顿时眼前一亮，网络科长连忙登录核心交换机，发现有大量的ARP攻击服务器网关信息。原因找到了！应该就是ARP攻击服务器网关，造成了所有系统慢。

可新问题又来了，客户端3000多台电脑，服务器一百多台。怎样找出这匹害群之马呢？问题是这几天出现的，应该是新增加电脑造成的，就从新增加的电脑入手。我们运气不错，当我们把第二台新增加的服务器网线拔掉时，世界一下清净了，系统恢复了正常。随后杀毒软件也从这台服务器网卡驱动程序中杀出了病毒。

事后分析，工程师装服务器时，网卡一直驱动不上，上网下了一个网卡驱动，网卡才被装好。正是这个驱动，差点把我们害死。我们开了问题总结会议，大家都很兴奋，所有辛苦和压力一下都烟消云散了。

下班回到家，媳妇没等到我开口就说：“你们医院问题解决了吧，我从你脸上看出来了。”搞技术的人都很单纯，喜形于色。

工作不仅有辛苦，还有快乐！再见2017，希望2018年能顺利。

【作者简介】:

彭建明：新疆维吾尔自治区人民医院信息中心副主任，18年专注于医院信息化管理建设，一直致力于大型医院核心信息系统安全性、可靠性的研究，拥有丰富的医院信息化建设管理实操经验。曾帮助新疆多家大型三甲医院、多家县级医院和新疆大型企业、政府部门安装Unix或Linux环境下的集群系统和容灾系统，帮助解决系统故障和性能问题。以扎实的技术和认真的工作作风得到了广大同行的认可。通过学习与实践相结合，先后取得了ORACLE 8I OCP 、ORACLE 10G OCP 、IBM AIX小型机管理员证书、CISCO CCNA 网络管理员证书。

HIT专家网∣最新鲜的医疗信息化资讯，不一样的专家视角

微信：HIT180com

投稿： [e-mail]

商务合作：[phone]