高校如何设计教育信息化绩效评估方案？
从时间上，国外欧美国家要先于国内，2000年美国 NCREL (North Central Regional Educational Laboratory) 与NCRTEC (North Central Regional Technology Education Consortium)合作开发了enGauge教育信息化评估工具，美国教育技术CEO论坛开发了StaR教育信息化评估工具，英国的教育通讯和技术署于2006年3月发布了SRF The Self-review Framework评估，2009年，联合国教科文组织(UNESCO)在《教育信息化评估指南》报告中提出了教育信息化水平评估概念框架。
国内开始于2003年，其后10年有5个国家级课题和1个部级课题支持教育信息化评估研究，分别在2006年和2011年达到研究高峰，由复旦大学主研，联合北京大学、清华大学、南京大学、中山大学等17所高校共同参加了“中国高校信息化指标体系研究”项目，课题组于2007年12月，给出了现行的官方版高校信息化评价指标体系。世界各国非常重视教育信息化评估实践，国内关于教育信息化绩效评估研究相对较晚，但也已有相当数量的评估体系研究和实践活动。
从2004~2014年期间我国教育信息化绩效评价研究方法运用情况来看，尽管研究方法多元化的趋势是令人欣喜，但大多数是相邻学科知识方法应用领域的拓展，教育信息化绩效评价研究自身的方法论远未完成。
本文将聚焦在教育信息化绩效评估中容易造成的说服力不足、可信度不强、操作困难等方面问题，给出一种评价方案设计方法，并以浙江大学实践为例进行方法应用说明。
问题与设计
当前在评估工作中，存在的主要问题不是指标体系有没有，也不是定性方法、层次分析法、数据包络分析、主成分分析法、数学模型等研究和分析方法选取的问题，而是评估的说服力、可信度、可操作性问题，即评估所得出的结论和评估目标是否一致，是否对问题具有说服力；结论和主体感受是否相一致，可信度有多大；结论能否聚焦到具体问题，对信息化工作改进是否有明确的指导作用，变成日常可操作的事项。为了解决这些问题，通过分析，我们发现需要建立一个评估要素模型来综合评估的各方面因素，以方便评估工作开展。
评估不仅是对结果、效益的反映，也是对组织信息化战略实施过程的检测，发挥着导航系统的作用，基于高校普遍的信息化组织体系，从主客体关系看，我们把参与学校信息化建设和信息化应用的个体和组织，根据角色划分为投资者、生产者、消费者，投资者主要是学校，因为高校信息化经费来源主要是学校经费投入，生产者是承担学校信息化建设工作的职能部门，一般是信息中心、现教中心、信息化管理办等相关机构，消费者是体验信息化应用的师生用户和实验室、院系机关等部门。
考虑到评估会涉及到成本、周期等方面，结合高校的一般做法，我们选取项目作为三类角色的共同焦点，构建如图1的以人为本的评估模型：
图1 信息化绩效评估模型
生产者和投资者之间主要的关系是经费，投资者通过对项目投入经费，由生产者负责项目的建设和服务；
生产者和消费者之间主要的关系是应用与服务，生产者通过项目建设和服务建设，向消费者提供成果，为师生消费者解决日常教学（学习）、科研、管理、社会服务等日常活动中的信息化应用和服务；
投资者和消费者之间的主要关系是运行成本与效益，投资者希望消费者通过消费信息化应用和服务，获得日常运行成本的降低和整体工作效率的提升，同时带来额外的经济效益和社会效益，当前主要反映在互联网+所带来的价值。
理想的情况是，在我们启动教育信息化项目的同时，应该配套有专门的评估方案，以便对其效益进行评估，并及时对项目作必要的调整。通常情况下，评估工作需要包括四个组成部分：首先是评估维度的选取，其次是评估指标体系的制定，评估数据的获取以及评估工具的支持。由于评估工具的建设不存在技术瓶颈，所以不在本文论述，我们重点考虑前面三个方面。
01
评估维度选取
评估维度的选取跟评估目的紧密相关，国家层面通常以精准衡量教育信息化发展水平，促进科学决策，辅助教育信息化政策制定和实施过程为目的，吴邸团队借鉴《教育信息化十年发展规划（2011—2020年）》宏观发展指标，并经过多年的反复检验与不断修正，构建了一套适用性强的评估指标框架，评估指标框架包括基础设施、教育资源、教学应用、管理信息化、保障机制五个维度，这类评价对维度的选取面面俱到，囊括信息化的建设和应用情况。
研究机构层面，更侧重于信息化对教育所形成的结果及影响，如“ICT促发展伙伴关系”联盟，在2005年开展了一项针对发展中国家的研究，以ICT对学生学习能力与成绩的影响、监控与评估、教育公平、教育投入、教育规划和实践、具体教学工具、教师教学、内容与课程、教育和学校政策等视角对ICT在教育中的应用进行评价。
2009年，联合国教科文组织(UNESCO)在《教育信息化评估指南》报告中提出了教育信息化水平评估概念框架，主要由6个要素组成：学校、系统、教师特征、ICT教学实践、学生特征、学习成果。王河堂从服务于高校人才培养、科学研究、管理和服务等方面给出了其高校信息化绩效评价体系。
总体上，信息化评估的目的从衡量角度主要分为水平性评估和作用性评估，水平性评估多用于投资方或政策制定方对信息化整体能力的掌握，作用性评估多用于交叉学科研究，在于发现事项发展的影响因子，从而指导相关布局作出合理调整。通常情况下，水平性评估和作用性评估会同时需要。
02
评估指标体系制定
评估指标体系的制定依赖于评估目的和维度的确定，一旦评估目的和维度确定，可以从水平性评估和作用性评估两方面制定相应的评估指标。水平性评估指标一般为成果性描述，如在基础设施维度，反映基础网络建设水平的指标，可以包括校园网出口带宽、校园网主干带宽、桌面带宽、无线网络覆盖面积、无线AP个数、机房达标等级、等建设成果类指标。
作用性指标一般为应用成效性描述，是成果被使用后所发挥的作用，如人均带宽、无线超并发掉线率等应用性指标以及用户满意率等主观性评价指标。
03
评估数据获取
评估数据的获取依赖于评价指标体系，评价指标可以分为主观性指标和客观性指标，从数据获取方式看，主观性指标最常用的数据获取方式是调查问卷，在欧洲，电话访谈也是常用的方式，客观性指标一般可以从信息系统直接获取。
从数据状态看，有过程性数据和结果性数据，过程性数据包括各类用户行为日志、网络日志等信息，结果性数据一般为统计结果。
评估数据的质量保证是数据获取环节的重点，因此评估数据获取不是简单的从数据源头导入数据，必须对数据的语义、格式、合规性、合理性等进行预处理和评测。
评估要素模型应用
下面以浙江大学信息化建设项目的成效评估为例，进行模型的应用。本次评估是学校信息化建设的自我评估，目的在盘家底，通过盘家底发现薄弱环节，从而分析并指导“十四五”规划的制定。
基于上述目的，我们以项目为单位，分三步开展工作。
第一步，从水平性评价和作用性评价两个维度给每个项目制定一套评估指标。
而项目所属的分类就是整个成效评估的一级维度，根据“十三五”规划，学校把信息化建设划分为五大空间，分别为网上办事、在线教育、信息发布、学术资源和个人信息。因此，对项目的评估实际上是对信息化支撑学校办学核心业务的能力评估，能够回应投资者对经费使用效率的满意度，也能够反映师生消费者对信息化应用服务的满意度。
为了提高工作效率，我们制定了如下的项目绩效评估指标收集模板：
指标项需要根据评估目的和项目特征进行提供，另外增加了时间维度和人的维度，根据学校角色，把人细化到学生和老师，组织机构细化为学校和学院两层，加入人的维度是考虑到师生信息化建设的消费者，成效最终要体现出为师生带来的利益，是作用性指标的一种体现。
以“学在浙大”教学平台为例，部分指标定义如图2。
图2 指标定义
第二步，根据第一步的指标定义收集数据。
由于指标来源于实际的信息化项目，收集数据在技术上不存在难点，通过数据交换中心即可解决，问题主要出现在项目实施之前没有考虑到评估的需要，系统没有记录相关的数据，或者记录不全面。因此，理想的情况是，在我们启动教育信息化项目的同时，应该配套有专门的评估方案。针对数据不全的状态，拟通过系统优化、系统改造等方式逐步完善。
第三步，通过大屏等方式呈现数据，能直观反映信息化绩效评估的全貌。
我们将项目评估信息投影到经费，可以反映出投入产出比，方便学校经费主管部门了解经费的作用；将项目评估信息投影到师生消费者，可以反映师生对信息化的获取感；将项目评估信息投影到生产者，可以反映信息化建设的工作效率和效益。图3是反映师生信息化获取感绩效评估的“福袋”。
图3 信息化年度数据账单
信息化绩效评估工作是一项长期、动态的工作，更是系统性的工作，本文仅提供了一种正在实践中的评估思路和方法，希望随着评估工作的深入，真正带动以评促建，带动信息化项目建设的规范与高效。
作者：谢松山、丁浩然、赵亚萍、张紫徽（浙江大学）
责编：项阳
投稿、转载或合作，请联系：eduinfo@cernet.com
相关阅读