王聪等 | 高校信息系统后评估督导机制及其指标体系——以西北工业大学为例

摘要：高校信息系统在建设中存在运维弱、体验差、监督少等问题，不仅减缓了信息化进程，还影响着教育技术的质量。为此，文章引入绩效管理理念，首先设计了信息系统后评估督导机制的传动式实施策略。随后，文章构建了由四个维度各级指标及其权重分值构成的信息系统后评估督导机制指标体系，以指导策略落地。最后以西北工业大学为例，介绍了信息系统后评估督导机制的应用现状，其中该机制的“双线四向五要素”架构实现了信息系统建设全生命周期的闭环管理，之后进行了案例分析。实践证明该机制既有利于促进数据治理实效、增加业务协同度、提高师生满意度，也能提升信息系统应用效果，并可为高校信息化建设提供理论与实践指导。

关键词：教育信息化；后评估；督导机制；信息系统；绩效管理

一 研究背景

1 高校信息化建设的现状

2018年，教育部发布《教育信息化2.0行动计划》，强调全面开展面向区域教育信息化的督导评估和第三方评测，提升各地区和各级各类学校发展教育信息化的效率、效果和效益^[1]。当前，高校信息化建设具有信息安全、数据准确、不反复填表、一趟都不跑等需求，这也是教育信息化发展过程中遇到的突出问题。另外，新冠疫情凸显了在线教学、远程科研的支撑作用。因此，如何检验在线教学体系各子系统支撑大规模应用的能力，以及时弥补体系的薄弱环节，成为了众多高校面临的共同挑战^[2]。高校要重视信息系统的业务流程梳理，更要重视投入建设后的使用反馈，对呈现出的问题进行对标审视，检验预期目标，实现绩效管理策略，指导流程再造。

2 绩效管理与信息系统建设问题

所谓绩效管理，是指各级管理者为达到组织目标，共同参与的绩效计划制定、绩效辅导沟通、绩效考核评价、绩效结果应用、绩效目标提升的持续循环过程，其目的是持续提升个体和组织的绩效。信息化是促进高校改革创新和提高教育质量的有效途径^[3]，旨在有效控制风险、提高使用效率，以达到理想效果，实现建设项目的综合绩效最优化。信息系统是高校提升综合服务与应用能力的重要保障，其建设内容涉及立项、审批、需求设计、招投标、签合同、执行、验收、运维、升级改造等环节，但由于在对接方式、预期效益、二次开发等方面无调控，容易暴露出使用体验不佳、改进无从下手等问题，主要表现为：各部门所建信息系统众多，按业务逻辑开展建设的跨业务关联度不高；建设经费及耗能较大，不重视运维，导致功能推广滞缓；统筹规划不充分，项目管理不规范，负责人频繁更换，问题无法得到及时响应；关键数据不统一、信息标准不一致、用户信息化素养待提升。对此，信息系统建设需利用督导手段介入治理。

3 后评估督导机制的推出

后评估制度是国家计划委员会关于可行性报告的重要内容，是管理的重要环节，可以为项目执行计划和调整提供依据，是重要的信息反馈途径^[4]。由于信息系统涉及众多既跨流程又互相关联的业务，故本研究中后评估的督导范围包含了学校教学、科研、管理、服务等在内的全套公共信息系统。当系统建设与其他系统交叉运行一段时间且经过并发高峰期之后，将进入后评估督导环节：首先依据设定的标准，按照特定程序，在符合信息化规划、统筹管理、标准规范等要求的基础上，对信息系统使用前后情况进行分析、比对并实时跟踪应用反馈；随后，对系统建设成效进行综合性评价；最终，根据评估结果持续优化改进，直至系统下线，跟进结束。

随着信息化服务功能需求的不断增多，高校一部分信息系统即将淘汰。从信息系统建设到使用，需要介入第三方角色进行客观分析，以及时发现不足、适时督导改进。后评估督导机制的建立，意味着把信息化纳入可统筹的绩效考核^[5]，其推行是为了进一步提升信息系统的质量和应用效果，最终实现全生命周期的闭环管理，从而更大程度地发挥信息系统的效能。

二 信息系统后评估督导

机制的传动式实施策略

高校信息系统后评估督导机制的建立是一个持续传动的过程。为了增加信息系统后评估督导机制推行的信任度和实施的可靠度，使评估中的每个环节都得到有效控制，本研究参考戴明环^[6]提出的将质量管理分为Plan（计划）、Do（执行）、Check（检查）和Act（处理）四个阶段的PDCA循环理论，对应设计了包含建设、后评估、反馈和改进四个环节的信息系统后评估督导机制的传动式实施策略，如图1所示。该策略以“点”（即规划、指标细项、第三方视角）带“面”（即红色的主导面、黄色的预判面和绿色的推进面），贯穿“督导线”和“反馈线”两条线，并根据绩效，结合权重和信息系统使用后的反馈，不断完善后评估督导机制。

 图1  信息系统后评估督导机制的

传动式实施策略示意图

1 以信息化“规划”为基准点，带动“绩效”形成主导面

按照统一规划原则，后评估督导机制需加强问题的发现和意见的征集归纳效率，并综合考虑信息系统的业务特征、应用类型、项目规模、技术指标和复杂程度。具体实施时，该机制需要明确权责、绩效目标和进度，综合评价所属责任范围内的经济效益、管理效益、社会效益、资金预算、人员配备、管理支持等方面的可持续发展，将督导与改进同时推进。

2 以特定“指标细项”为评测点，基于“权重”形成预判面

信息系统后评估督导机制需设置特定的指标细项，并合理匹配各项权重，同时针对信息系统中使用率低、与其他系统难以互联互通、功能设计不合理、用户体验不佳等问题开展深度检测，找出问题的症结所在并加以解决，以确保信息系统建设的质量。

3 以“第三方介入”为视角，根据多向“反馈”形成推进面

针对高校众多系统，信息系统后评估督导机制在推行中特设多种督导角色，如一线教师、教务人员、业务负责人、教学负责人等，通过深入验核，相对独立地得出较客观的改进依据，并随时反馈信息系统的使用动态，以实现评估集约易行，使诸多问题第一时间得到有效解决。

三 信息系统后评估督导

机制的指标体系

信息系统后评估督导机制的传动式实施策略的落地，离不开相关指标体系的指导。基于此，本研究构建了信息系统后评估督导机制的维度模型，设计了各级指标并确定其权重分值，形成了信息系统后评估督导机制的指标体系。

1 维度模型的设计

考虑到系统建设在顶层设计、数据应用、用户满意度和安全性等方面容易偏离预期，本研究构建了信息系统后评估督导机制的维度模型（如图2所示），主要包括：①“维度一”聚焦于系统顶层设计，重点判断信息系统达到学校整体信息化要求的程度，并指定专人负责，针对效率、跨业务、效益、移动应用、统一身份认证等方面做出评判；②“维度二”聚焦于数据管理，包括信息系统数据的采集、整合等，经业务关联后能够反映信息系统的使用效率，重点判断业务数据库的建设情况、数据质量优劣和数据交换共享或备份效果；③“维度三”聚焦于用户体验，是根据信息系统投入运行后在一定周期内呈现出的状态，判断系统运行过程中的平稳交互情况，使师生用户经培训使用后感受舒适、便捷，同时对其他系统起到引领和示范作用；④“维度四”聚焦于系统安全，从国家网信安全的要求出发，判断信息系统能否有效保护师生信息安全、是否按等级保护标准和相关安全策略运维、是否有应急响应方案和防护控制措施等。

图2  信息系统后评估督导机制的维度模型

2 各级指标的设定与权重分值的确定

依托信息系统后评估督导机制的维度模型，结合高校信息化建设的要求和实际情况，本研究初步设定了信息系统的评估指标内容。之后，参照西北工业大学信息系统建设、数据资源目录、信息安全等管理办法^[7]，同时考虑到信息系统涉及不同的责任单位，本研究从系统建设方案中获取关键指标量化值^[8]，得到可量化的一级指标11项、二级指标39项、三级指标56项。在设定各级指标后，本研究采用主次指标排队分类法确定各级指标的权重分值，具体步骤如下：

①排队，即结合专家、师生和关联单位的意见，将一级指标按照后评估督导流程排队，而二级指标、三级指标按重要程度排队。西北工业大学设置了专家评估组、师生体验组、关联单位组三个评估小组，统筹收集三个小组的意见，得到各指标的技术评判、效益评估结果。在此基础上，专家评估组重点把关维度一、维度二、维度四，而师生体验组和关联单位组从系统使用和业务融合的角度出发对各维度进行考查。

②设置权重。经三个小组现场测试、质询、评议、打分后，本研究按照4:3:3的评分权重系数统计，汇总形成最终评估结果。需要说明的是，由于专家是学校各学科领域的项目负责人，同时也是部门项目在建设初期的指导专家和项目验收时的评判专家，具有丰富的评判经验且其评判比较客观，故专家评估组的评分权重略高于其他两组。

经上述两个步骤，本研究确定了各维度各级指标的权重分值。各维度一、二、三级指标及其权重分值如表1、表2、表3、表4所示，共同构成了信息系统后评估督导机制的指标体系。

表1  信息系统后评估督导机制的指标体系（维度一）

在表1～表4中，“顶层设计”“专人管理”“建设效率”“建设效益”“数据质量”“数据交换与共享”“便捷性”“安全设计”等8项二级指标的分值≥4分，说明这些内容是信息系统后评估督导的重点，在一定程度上决定信息系统建设的成败。其中，“数据质量”的分值高达10分，说明数据质量是信息系统建设的重中之重。具体来说，“顶层设计”要求不同的信息系统必须统筹建设，信息系统属于学校公共平台，需要纳入学校统一管理，系统的建设、运维和优化要符合学校信息化规划的要求；“专人管理”体现“一把手”责任制，要求每个系统由专人负责管理和维护，凸显信息化驱动业务的重要性；“建设效率”反映建设的品质，评判建设周期与预定计划是否一致；“建设效益”体现资金投入与受益效果是否一致，以及信息化项目经费的申报和使用是否合理；“数据质量”用来反推信息化的整体进度，实现信息系统与其他系统的准确关联；“数据交换与共享”要求按照一定的标准规范进行数据接口开发，以有效对接不同系统并实现系统升级；“便捷性”要求尽可能地将网上审批流程集成到一站式办事大厅，以提高办事效率；“安全设计”考查能否利用有效的技术手段来保障系统安全运行。

表2  信息系统后评估督导机制的指标体系（维度二）

表3  信息系统后评估督导机制的指标体系（维度三）

表4  信息系统后评估督导机制的指标体系（维度四）

四 应用现状与案例分析

1 应用现状

“十三五”期间，西北工业大学的信息系统建设规模持续扩大，围绕教学、科研、教务和学生的学习、生活等建成了各类信息系统约40余个，涉及30多个责任单位。以信息系统后评估督导机制的指标体系为指导，按照信息系统后评估督导机制的传动式实施策略，西北工业大学于2019年6月下发《西北工业大学信息系统后评估管理办法（试行）》，进行信息系统试评估，试行一年后对信息系统后评估督导机制进行修订，之后正式实施。截止到2021年12月，西北工业大学通过后评估的信息系统有16个，督导改进完成率为62.5%。经后评估督导改进后，西北工业大学的信息系统不仅优化了审批流程、缩短了办事时间、解决了反复填表问题、提升了师生满意度，而且系统自身的使用率也得以大大提高，可为新建系统提供有益参考。

根据多轮评估经验，西北工业大学形成了信息系统后评估督导的工作流程：①制定后评估工作计划，包括具体实施进度、考核要求和改进复核；②向系统所涉责任单位发送《信息系统后评估通知》，向专家评估组、师生体验组、关联单位组三个评估小组发送评审任务；③责任单位报送任务回执，并提供系统运行资料和测试账号；④通过测试、审阅、调研、随机走访、函评等方式，对系统进行评测；⑤向各类系统的用户征集意见并进行相关数据统计；⑥责任单位汇报系统的建设、使用情况，三个评估小组现场测试、质询、评议、打分；⑦汇集意见，明确问题归属，形成《后评估改进建议通知单》；⑧责任单位按照《后评估改进建议通知单》，结合实际建设情况，制定改进计划；⑨审核改进计划，通过审核后建立台账，下发责任单位要求落实、跟进；⑩责任单位实施改进计划，可申请专项经费，后评估督导持续跟踪、管理。

为了更好地指导后续信息系统后评估督导工作的开展，西北工业大学设计了信息系统后评估督导机制的“双线四向五要素”架构，如图3所示。该架构以督导线和反馈线为主线，从信息系统建设的规划开始，每一个环节都在建、评、督、改、核五要素的管控下，以专家意见、业务流程、师生建议为反馈手段，促使问题导向更明确、跟踪趋向更及时、再建指向更准确、复核动向更清晰，实现了信息系统建设全生命周期的闭环管理。

图3  信息系统后评估督导

机制的“双线四向五要素”架构

2 案例分析

截至2021年12月，在西北工业大学已经评估的16个系统中，有3个系统完成了全面升级：①“本科教学管理系统”，这是师生使用频繁、上线人数多、涉及业务面广、师生关联密切的业务平台。经后评估两轮改进后，“本科教学管理系统”的工作效率得以极大地提高，不仅落实了完全学分制改革，而且方便了“教”与“学”，促进了学校各业务系统整体信息化水平的提升。②“校园邮件系统”，这是学校为方便在校师生信息交流而开设的一项服务。通过广泛征集师生、校友、校内外专家、业务关联单位等的意见，“校园邮件系统”进一步优化了业务流程，成为了第一个全部完成后评估改进的系统，获得了广大师生的好评，为其他系统的优化与升级起到了示范作用。③“校园门户”，这是学校信息服务综合管理平台。经过后评估改进后，最新版“校园门户”集成在移动端APP，其针对用户提供主题服务，并通过集约各类系统、设置符合使用习惯的导航界面，全面提升了用户体验。

值得一提的是，西北工业大学在实施信息系统后评估督导的过程中积累了诸多经验，如遴选覆盖各学院的40余名在校教师为“信息化督导员”，负责日常收集、汇总系统使用意见，并为学院师生提供简单的系统使用培训；招募热衷于信息技术、对互联网思维感兴趣的学生为“网信志愿者”，负责在学生区进行网信宣传和提供相关技术支持，同时达到“实践育人”的目的。

信息系统后评估督导机制的实践，不仅有力提升了信息化服务的时效性，而且营造了学校全员参与信息化建设的积极氛围。西北工业大学推出的信息系统后评估督导机制在业内为首创，在2020年11月举办的“智慧校园2.0创新驱动模式与路径探索”专题研讨会上，陕西省教育厅指出该项实践工作是建立健全教育信息化可持续发展机制的重要探索，并评价信息系统后评估督导机制规范了信息化项目管理，冲破了数据阻隔，提高了信息化的重视度、使用度、体验度、参与度、信任度和安全意识，建议各高校借鉴并加以推广。

五 结语

本研究引入绩效管理理念，将信息系统的评估和督导相结合作为切入点，设计了信息系统后评估督导机制的传动式实施策略，构建了信息系统后评估督导机制的指标体系，并以西北工业大学为例进行了案例分析，指出其设计的信息系统后评估督导机制的“双线四向五要素”架构实现了信息系统建设全生命周期的闭环管理。为了进一步满足师生对高校信息化的实际诉求，信息系统后评估督导机制有待继续优化和持续推广。而从“能用”到“好用”，还有一段很长的路要走。后续研究将不断推动高校信息化质量评估体系的完善，助力教育信息化可持续发展。

参考文献

[1]教育部.关于印发《教育信息化2.0行动计划》的通知[OL].

[2]张紫徽,杨玉辉,张宇燕,等.全链路压测保障高校信息系统的探索与思考——以浙江大学为例[J].现代教育技术,2021,(2):55-62.

[3]麻志毅,李梅.高校信息化建设中的变化适应性解决方案[J].现代教育技术,2018,(6):25-31.

[4]谢幼如,郑云翔.引领与推动:教育信息化绩效评价[M].北京:高等教育出版社,2016:5.

[5]田生湖,姚建峰,赵学敏,等.高校教育信息化治理绩效评价研究[J].电化教育研究,2018,(3):29-33.

[6]戴明环.PDCA循环[OL].

[7]校园信息化建设领导小组.西北工业大学信息化建设体系文件《网络与信息系统安全管理办法》《信息化项目建设管理办法》《数据资源管理办法》《网络与信息系统安全管理办法》[Z].西安:西北工业大学,2019:3-10.

[8]徐建,吴砥,陈敏,等.区域教育信息化发展水平评估系统设计与实现[J].现代教育技术,2018,(2):120-126.