【前沿】网络学习平台生态指数开放评价模型的设计与实现
本文由《开放教育研究》杂志授权转载
作者：王涛
摘要
本文在网络学习平台发展四个阶段判断的基础上，结合实证调查和统计数据分析，设计了一套反映网络学习平台的生态特征的三级指标体系。该评价体系采取基于主成分分析的群体层次分析法为各指标赋权，建立模糊综合评价模型。依据该评价体系所建立的开放评测网站，能为用户提供开放评测服务，以评估各类网络学习平台的生态特征。
关键词：在线教育；网络学习平台；生态特征；指标体系；评价模型；开放评测
网络学习平台以资源建设与应用为纽带，把教学者、学习者、资源制作者、服务提供者等紧密联系起来。它既是人与技术的融合点，也是教育理念、信息技术水平及其物质呈现、学习者的期望和最终收益相互交汇、激荡的地方，因而是网络学习的核心和决定网络学习效果的关键一环。研究表明，网络学习平台大致经历了单项技术的应用期、综合技术的整合期、使用者的连通期(技术消隐期)和群体智能的涌现期(回归期)四个从低到高的发展阶段。当其生态特征逐渐呈现时，才会全面释放出推动学习、变革传统教育体系的巨大潜力。生态特征是网络学习平台进化到高级阶段的标志(王涛，2015)。因此，如果从微观层面考察网络学习平台的构成要素，通过设计一套评价指标体系和评价模型，实现对网络学习平台生态特征的量化评测，将有助于认识其发展水平和制约其发展的关键因素，从而有利于探索大数据时代网络学习平台生态化发展的路径。
一、研究综述
自1996年底1997年初国外出现网络学习平台始，至今它已得到了蓬勃发展。从商业平台到开源网络教学平台，以及近年来出现的各类MOOC平台，可以说网络学习平台种类非常丰富。国内外学者从多种角度对其展开了研究。
(一)网络学习平台评价指标体系研究
约在2000年，国外就出现了网络教学平台比较、评价等研究，构建了影响较大的评价指标体系，还出现了专门提供网络教学平台比较与选择的机构与网站。如影响较大的有美国西部教育远程通信合作组织(WCET)和维多利亚、不列颠哥伦比亚和加拿大的课程、传输和技术中心(C2T2)在William & Flora Hewlett基金会的支持下开发的网络化网络教学平台选择决策工具Edutools等。国内较有代表性的有：张伟远(2003)、姜中皎(2010)、王志军等(2011)等构建的评价指标体系。
总体上看，当前研究的不足之处在于：对评价的量化仅做了初步探索，还没有形成可付诸实用的评价系统；对平台的未来发展趋势即其生长性反映不够；最关键的是，这些评价指标体系仍建立在静态采样的基础之上，难以客观、全面、动态地反映网络学习平台日新月异的变化。
(二)网络学习平台评价模型研究
国内外有关网络学习平台定量评价模型构建的研究还比较少，少数标题中有“评价模型”一词的研究，其实探讨的仍是评价指标问题。如雷克凯达(Rekkedal，2002)等人的评估研究实际研究的是网络学习平台提供的对学习者学习活动的评价功能；菲尔(Ferl，2005)等人提出的“学习平台的评价模型”从内容、交流、管理三个维度对学习平台的功能有无进行评价。值得一提的是，奥扎特金(Oztekin et al.，2013)利用支持向量机、神经网络和决策树建构的多元线性回归模型，对网络教学平台的易用性进行建模和预测，可称得上是针对网络教学平台评价模型的前瞻性探索。
总的来说，国内外针对网络学习平台的综合定量评价模型几乎没有，更未见网站提供对网络学习平台的定量评测服务。
(三)从生态学视角对网络学习平台的研究
运用生态学原理与方法研究教育现象，最早始自美国哥伦比亚大学师范学院院长劳伦斯·克雷明(Lawrence Cremin)。随着学习生态系统研究的深化和扩展，以及网络学习的普及，有研究者尝试将学习生态观和学习生态系统论用于网络学习研究和网络学习生态系统构建，提出了“网络学习生态系统”的概念，并进行相关理论探索(Lool，2001；Ismail，2002；宿晓华，2006；韩晓玲，2008等)。但总体看来，这些研究大多还处于对网络学习生态系统的核心概念构建和定性描述阶段，系统的理论探索和实证调查还很缺乏。对作为网络学习核心和枢纽的网络学习平台的生态特征量化研究，几乎没有。
二、网络学习平台评价指标体系设计
采用评价指标研究事物的优点是简单易行，输出的结果简明直观，特别是面对众多评价对象实施选择和评判时，其评判结果具有横向间的可比性，但也有不足之处。正如美国前总统办公室社会指标研究主任丹尼斯·约翰所言：“我们越是把这种复杂的事物缩小为有限的合成指数，这种合成度量就越是变得抽象和不真实”(陈玉祥等，1994)。因此，网络学习平台评价指标体系的构建，不能片面追求评判的结论如何鲜明，必须将其摆在广阔的背景中加以考察。
为了构建评价指标体系，笔者通过以下方法进行：一是广泛收集和分析文献，了解国内外生态学视角研究和评价网络学习平台的总体情况，把握发展趋势；二是对典型网络学习平台功能模块、具体功能特性、技术指标等进行分析，了解网络学习平台的实际发展情况；三是访谈和问卷调查相关群体(平台设计与开发者、专家学者、教育管理者、教师、学习者等)对网络学习平台发展现状及未来发展趋势的看法，提高设计评价指标体系的针对性。具体指标的设计经历了共性指标构建、个性指标构建和最终指标形成三个阶段。
(一)确定设置三级指标体系
指标体系层次和指标的设置，很大程度上影响着评价结果的科学性和准确性。层次和指标太少，评价结果过于粗糙，无法反映现实；层次或指标太多，将使由此建立的模型过于复杂，影响可操作性。本研究结合网络学习平台的特征、特点，确立总评目标下的三级评价指标体系。
1.总评目标，即生态指数，表示网络学习平台所具有的生态特征值。它由下一级分解指标经过模糊综合评价模型运算得到分值(0-1)。该指标只是简略的综合判断，大体表明网络学习平台所处的发展阶段(0-0.29：单项技术应用期；0.30-0.59：综合技术整合期；0.6-0.89：使用者连通期；0.90-1群体智能涌现期)，但不代表其单项性能的优劣。通常会有出现这样的情况，即平台生态指数低，但可能某项性能表现优秀；总体得分高的，通常各单项性能指标不会太差。
2.一级指标。它为大类特征属性。这是本指标体系的核心。根据网络学习平台发展的四阶段划分及各阶段特征(王涛，2015)，设置七个一级指标。
表１ 网络学习平台生态特征评价指标体系
总评目标 | 一级指标 | 说明 |
生 态 指 数 | 功能性 （基础支撑环境） | 反映一个网络学习平台对网络教与学活动的基础支持能力，大致相当于前文所介绍的诸种评价体系中的各类功能指标 |
公共性 （社会服务环境） | 反映网络学习平台向社会提供服务的规模、方向等。这一点与其他现有评价体系不同，着重反映网络学习平台的商业运行机制是否可持续发展，这也是生态特征的一个重要方面 | |
群聚性 （社交网络环境） | 这3项指标反映网络学习生态系统的总体发育情况和生长潜力。是网络学习生态系统发展的关键，也是群体智慧涌现的基础 | |
自组织性 （生长保障环境） | ||
连通性 （交互协同环境） | ||
自然性 （使用应用环境） | 反映学习者与网络学习环境交互的便捷性，是技术消隐与否的根本体现 | |
伴随性 （泛在学习环境） | 反映网络学习与传统学习之间的无缝融合程度 |
最后二项指标主要反映基于建构主义的数字化网络学习环境的建设水平。学习环境是个复杂的系统。研究与实践表明，混合式学习是最有效的数字化学习方式。未来的发展方向必然是全面、深度的混合式学习。在网上与网下无缝融合、完全数字化的学习环境(高度发展的物联网和自然语言、文字、姿势等识别是其基础)中进行学习，平台不仅要实现虚拟学习环境对学习活动的支持，还将兼顾其与课堂学习环境各个要素之间的制约与联动，因而能更加有效地保障基于信息技术的教学活动(殷旭彪等，2013)。
第二级指标为上述七个一级指标的进一步分解；第三级指标是对二级指标的进一步分解，描述网络学习平台的微观特征。
(二)确定第二、三级指标的设计原则和步骤
设计二级指标时，我们按网络学习平台呈现给用户的面貌(即界面、功能等)进行分析，以便更好地反映被调查者的应用体验。
三级指标力求比前文那些服务于网络学习平台的指标体系有所突破，做到：
1)反映发展现状与趋势。一是从现有网络学习平台中提取已经实现的功能；二是教育或技术专家、学者提出的理想的、能实现教育目标的功能，以体现未来发展方向，评价各类网络学习平台的生长能力。
2)涵盖功能性与技术性两个维度。功能性指标反映已实现的功能和未实现的功能，技术性指标反映实现这些功能的关键技术，包括目前应用的技术和更符合未来发展方向的技术，如平台在部署、安装、访问、维护中所应用的技术等。对这两个维度的区分，可以判断出平台的生长性，即某些从目前看来实现得比较好的功能，如果采用的技术落后，与其他新技术整合的可能性就小，未来拓展的空间也小。
3)包含定量指标与定性指标，以充分反映网络学习平台的各方面特征。
4)增加动态评价指标。如增加课程数量、在线学习人数、网络流量等动态指标，以充分反映网络学习平台的吸引力和活跃程度。
5)以学习者为中心，关注用户体验。评价网络平台先进与否，并不唯技术论，因为作为一种基于现代网络技术，作为知识改进和再创造的主体，学习者在其中扮演着价值接收和判断的角色，如何以技术支持学习，是网络学习平台能否体现其本源价值的关键。毕竟，区别于其他技术终端，网络学习平台所用的技术负荷了教育价值。
(三)实证调查和数据分析
1.网络调查。在借鉴前文所介绍的几种指标体系基础上，本研究选择国内外12个主流网络学习平台进行分析，其中国际平台5个：Canvas、Coursera、edX、Blackboard、Desire2Learn；国内平台7个：点滴MOOC、顶你学堂(TopU.com)、Edusoho、1号教室、万学网、句酷批改网、搜知云平台。它们既包括传统的学习管理系统，也包括最新的MOOC学习平台，基本可以反映当前网络学习平台发展的总体面貌。通过对它们功能的梳理，然后将相似功能进行合并、归纳，形成本评价指标体系的二级指标。
2.专家访谈。基于未来平台发展趋势和可能特征的研究需要，本研究选取了12名教育理论专家、学者，网络学习平台技术开发的专家、教师、学习者、教学管理人员等进行访谈，内容围绕网络学习平台建设现状、评价方法、生态化发展趋势等展开。
3.文献分析。收集一定数量的网络学习平台研究文章(如教育技术专业期刊、网站，或专家个人博客、微博，专家在公共平台上的答疑、谈话)，从中概括提取专家所设想的网络学习平台功能与技术发展趋势。
整理上述三方面来源数据，经过合并同类项目、删减重复项目和过于小众、不具有代表性的项目，我们初步形成网络学习平台生态指数评价指标体系。
(四)形成三级指标体系
将上面初步形成的评价指标体系，提交专家征询意见，然后把一些相对集中、被多数专家认可的指标确定下来，最终形成了总体的指标体系，其中一级指标7个，二级指标44个，三级指标199个。
三、网络学习平台评价指标权重的生成
(一)采用基于主成分分析的群体AHP法构权
根据网络学习平台的特性，以及本研究考察指标的多样化(既包括功能性指标，也包括技术性指标，还包括用户个人使用体验等评价性指标)，单一使用某一特定购权法难以客观反映网络学习平台的特性，故借鉴相关研究成果(刘任等，2014)，采用基于主成分分析的群体AHP法，对7个一级指标相对于总评目标的权重，44个二级指标相对于其一级指标的权重，199个三级指标相对于其二级指标的权重，进行赋值。
表２ 网络学习平台生态指数评价指标体系
一级指标 | 二级指标 | 三级指标 |
功能性 （基础支撑环境） | 用户管理 | 用户注册;登录验证;昵称登录;第三方登录;帐户安全;权限管理;实名认证;批量处理 |
系统管理 | 系统配置；平台运行监控；系统安全管理 | |
教务管理 | 项目管理；机构管理；学藉管理；教师管理；班级管理；学分管理；证书管理；学习档案 | |
课程管理 | 课程介绍；课程表；课程类别管理（必修、选修;专业领域等）；课程搜索；评论课程 | |
资源管理 | 资源分类；元数据管理；题库管理；管理工具；内容编辑工具；多形式支持；多平台适配 | |
教学管理 | 课程组织；教学工具；教学组织；助教管理 | |
学习管理 | 选课；配置课程表；课程学习；学习资料管理；学习日志 | |
交流工具 | 论坛；问答社区；文件交换；电子邮件；博客；讨论组；视频会议；白板 | |
公共性 （社会服务环境） | 规模性 | 学习资源总数（定量）；注册用户数量（定量）；访问总量（定量）；网络带宽（定量）；CND节点及并发性（定量） |
增长性 | 系统克隆数量（可克隆性）（定量）；拷贝销售量（定量） | |
课程分析 | 课程专业分布；选课者情况统计（包括注册人数、退课人数、获得证书人数等）；开课者情况统计（包括所在学校、职业、专业、年龄、受好评程度等） | |
课程交易 | 付费课程购买；购课后申请退款；最新购买课程记录 | |
商务运营工具 | 定价；计费；结算；第三方支付 | |
平台运行评价与反馈 | 教学者评价与反馈；学习者评价与反馈；开发者评价与反馈；社会评价与反馈 | |
学分开放认证 | 内部学分；与其他平台学分互认；与传统教育机构学分互认 | |
课程评价 | 内容评价；师资评价；教学方法评价；教学活动设计评价；教学效果评价；受欢迎度分析 | |
学习评价 | 评价类型支持;日常作业测评;自动测试;固定测试;综合考试;自我测评;互评;他评;小组评价;师评 | |
群聚性 （社交网络环境） | 激励机制 | 积分奖励;排行榜;明星机制;资金奖励;线下活动机制;学分授予机制;证书授予;推荐就业机制 |
支撑IM类型 | 开放性 | |
社交媒体连接性 | 社交媒体支持度；与其他社区的连通性 | |
学习者基本信息分析 | 地域分布分析；性别分析；年龄分析；学历分析；专业分析；职业分析 | |
学习者类型信息分析 | 注册者；一般学习者；积极学习者；获得证书者 | |
学习过程/行为分析 | 学习成绩；注册课程时间（定量）；最后登陆时间；课程交互次数（定量）；课程访问天数（定量）；播放视频次数（定量）；学习章节数（定量）；论坛发贴数（定量） | |
综合数据分析 | 学生测评结果分析；教学测评结果分析；数据汇集与挖掘；测评报告；学习指导；数据可视化 | |
自组织性 （生长保障环境 | 资源制作 | 组织方式；富媒体 |
云平台 | 可扩展性；公有云；私有云；IaaS层支撑；PaaS层支撑；自动部署和分发 | |
大数据接口 | 外部调用；平台互通；云支撑 | |
开发语言 | 普及易用性；支持敏捷性开发程度；是否MVC框架 | |
开放技术架构 | 开源开放性；异构兼容性 | |
连通性 （交互协同环境） | 平台适应性 | 多语种国际化；多终端支持；多操作系统支持；多浏览器；第三方社交平台入口支持 |
学习标准支持 | SCORM;AICC;xAPI;QTI | |
技术标准支持 | OAuth;Flash;PDF/ePub;HTML5 | |
教学可用性 | 教学过程支持；学习过程支持；学生学习技能发展支持 | |
学习活动支持 | 活动设计；活动管理；活动工具 | |
自然性 （使用应用环境） | 易用性 | 资源制作需专业团队；经过培训可学会使用；自然输入性 |
个性化 | 个人空间；课程定制；个性化学习 | |
智能性 | 碎片处理；识别处理；个性化推荐；机器人 | |
游戏化 | 多平台开发接口；多种游戏方式；游戏资源场景 | |
物联性 | 数字黑板（可实现笔迹数字化等）；电纸课本（可实现数字交互笔记等）；数字笔（书写数字化）；学习过程记录设备（如腕表、摄像仪等） | |
体感设备支持 | 身体动作识别设备；智能眼镜；表情或虹膜识别设备；语音识别设备；头盔及AR设备；三维全景漫游 | |
伴随性 （泛在学习环境） | 学习资源覆盖 | 学前教育；义务教育；高中阶段教育；职业教育；高等教育；继续教育；特殊教育；专业培训课程（如英语学习、健康知识学习、信息技术技能学习等）；非正式学习资源（如学习者个人上传的学习心得、微技能学习片段等） |
学习服务推送 | 基于学习者情境的内容推送；基于学习者问题的内容推送；基于学习者能力水平的内容推送；基于学习者兴趣的内容推送 | |
教师资源 | 在线文字互动；在线语音互动；在线视频互动；离线咨询 | |
同伴资源 | 智能同步学习同伴；系统推荐学习同伴；随机选择学习同伴 |
需要说明的是，以上计算方法需要分步重复使用，才能完成对本指标体系指标的赋权。即通过上述方法，完成对总指标下的7个一级指标的赋权；再对7个一级指标下属的每个二级指标，用以上方法完成对其赋权。
(二)编程实现各指标的权重计算
基于上文所述的方法与步骤，本研究邀请国家教育信息化组的十名教育技术专家参与了网络学习平台生态特征评价指标及评价模型调查问卷。调查问卷依据层次分析法原则，围绕网络学习平台生态特征评价指标体系的一级、二级和三级指标的权重分别向专家征求意见，并以问卷方式向专家发放。在问卷数据和上述算法基础上，通过编程实现全部指标的自动权重计算，得到对整个三级指标体系各级指标的权重。因篇幅关系，在此仅列七个一级指标的权重(见表三)。
表３ 一级指标权重 | |
指标 | 权重 |
功能性 | 0.0325 |
公共性 | 0.0391 |
群聚性 | 0.0794 |
自组织性 | 0.0960 |
连通性 | 0.1835 |
自然性 | 0.2758 |
伴随性 | 0.2937 |
表三各项指标的权重，基本上与理论判断一致。例如，功能性的权重较小，这是因为几乎每个网络学习平台都必须具有这些基础功能，所以其区分度不大；由上到下的指标，与网络学习平台的生长性关联越来越紧密，故其权重变大。
四、网络学习平台模糊综合评价模型构建
基于多指标体系的综合评价，需要通过一定的算式将多个指标对事物的不同方面的评价综合在一起，以得到整体性的评价。这就需要选择适当的用于合成的数学模型。根据网络学习平台评价问题的复杂性和评价的模糊性，本研究选用模糊综合评价方法构建评价的数学模型。
所谓模糊是指由于概念外延的不分明性而引起的判断上的不确定性。模糊性源于客观事物所具有的中介过渡性。“辩证法不知道什么绝对分明和固定不变的界限，不知道什么无条件的普遍有效的‘非此即彼！’，它使固定的形而上学的差异互相过渡，除了‘非此即彼’又在适当的地方承认‘亦此亦彼’，并且使对立互为中介”，“一切差异都在中间阶段融合，一切对立都经过中间环节而互相过渡”。(恩格斯，1995)由于中介过渡性普遍地存在，模糊性便渗透在人的一切认识过程中。
模糊综合评价以模糊数学为基础，应用模糊关系合成原理，将一些边界不易定量的因素定量化，进行综合评价。它是基于评价过程的非线性特点而提出的，利用模糊数学中的模糊运算法则，对非线性的评价论域进行量化综合，从而得到可比的量化评价结果的过程。从生态学视角对网络学习平台进行综合评价，涉及大量的复杂的能够反映学习者应用体验和平台连通性、生长性的因素，而且评价存在大量的模糊现象和模糊概念，因此综合评价时，可以用模糊综合评价的方法进行定量化处理。
(一)确定评价因素集
评价因素集U是综合评价指标的集合，设u={u1，u2，...，un}。对本研究来说，要完成对网络学习平台三级指标的评价，需要反复采用模糊综合评价方法，对下一级指标的项目做出评价。例如，对于总评价目标来说，U={u1，u2，u3，u4，u5，u6，u7}，指的是7个一级指标；对于一级指标“功能性(基础支撑环境)”来说，U={u1，u2，u3，u4，u5，u6，u7，u8}，代表其所包含的8个二级指标，依此类推。
(二)确定评价等级
在网络学习平台评价中，确定评语等级需要解决划分多少等级和如何设置等级的问题。
在模糊应用系统中，评价等级越多，则单项指标对评价对象的区分能力越高，模糊系统的分辨率就越高，但这会使判断原则过于复杂，增加计算的复杂度；评价等级过少，则使系统分辨率太低，缺少敏感性。心理学研究表明：人的最佳区分能力是6个等级左右，最高9个等级。实践中以5-7个为宜。等级数可以是奇数，也可以是偶数；奇数更好。
本文选取5个等级的模糊表达方式，用v表示，v={v1，v2，…，v5}；按习惯采用百分制方法，对应的百分制区间为：v1代表很好，分值(100-90)；v2代表好，分值(89-80)，v3代表较好，分值(79-60)，v4代表一般(59-30)，v5代表差或根据没有此项功能，分值(29-0)。通过这一论域的确定，使得模糊综合评价得到模糊评价向量，被评价对象对各评语等级隶属程度的信息通过这个模糊向量表达，体现评价的模糊特性。
(三)建立模糊隶属关系矩阵
模糊隶属关系矩阵是模糊综合评价合成过程的基本要素，其科学性直接影响综合评价结论的准确性。在本文网络学习评价指标体系中，指标类型包括定性指标和定量指标两种，因此需要采用不同方法构造隶属度向量。(苏为华，2000)
1.采用多相模糊统计法构造定性指标的模糊判断矩阵。通过专家、教师、学习者等对评价因素集中的每个因素进行评判，得出每个因素属于各种评语的程度，从而得到相应的模糊评判矩阵R[m，n]，其中，rij(i=1，2，…n；j=1，2，…m)表示评价因素集中第i个评价因素对第j个评语的隶属度。rij=dij/d，dij表示对评价对象因素集中的第i个评价因素做出第j个评语的人数，d表示参加评价的总人数。假设20人对某一网络学习平台进行评价，2人认为“好”，14人认为“较好”，4人认为“一般”，则该指标的隶属度向量为(0，0.1，0.7，0.2，0)。以此作为模糊评价的数据。
2.采用分级隶属函数法对定量指标进行处理。对于定量指标，实践中常见的确定隶属函数的方法是采用“分级隶属函数法”，即先对每项指标确定“等级划分表”，然后再设计每一等级的隶属函数。卡夫曼归纳了常见的28种隶属函数，实践中已有不少文献介绍了所采用的一些隶属函数形式(或混合使用)(苏为华，2000)可为本研究提供借鉴。同时，由于注册人数、开课数、在线时间、服务器总数等指标很难统一在一个量纲内，这就为隶属函数的确定增加了难度，所以本文结合网络学习平台评价的实际，又对定量指标数据进行了去量纲化处理。
(四)确定评价指标权向量W
按照基于主成分分析的群体AHP方法，确定评价指标的权重，计算评价指标权向量W。
(五)进行模糊合成
将模糊评价矩阵R以及对应的权值向量W进行模糊合成得到综合评价的结果Z=W“▪”R。其中“▪”为模糊算子。在模糊综合评价中，常见的和合成算子主因素决定型(Λ，ν)，主因素突出型(▪，ν)，不均衡平均型(▪，⊕)，加权平均型(▪，⊕)。在隶属矩阵已确定的条件下，权数大小对综合评价结论起着关键作用，由于(▪，⊕)算子没有舍弃任一指标的贡献，它具有加权作用，能对所有指标依照权重大小均衡兼顾，因此本文采用(▪，⊕)算子。
(六)合成结果分析
在多个评语等级下，由于合成值Z是关于多级评语的隶属度向量，不便于排序，转化为中值有利于分析。因此对评价结果Z处理并计算综合得分：
然后编程实现该评价模型。
五、对六个网络学习平台的试评测及分析
(一)对六个网络学习平台的试评测
完成评价模型构建和编程实现后，即开始对三级指标所对应的功能，采用李克特量表的5分制评价方式，通过问卷调查收集用户对特定平台指标给予1-5之间的数值评价，作为验证权值和建立的评测模型有效性的样本数据。
本研究通过MOOC微信公号平台和问卷网发放调查问卷，首批采集国内外六个典型网络学习平台(平台名称暂隐)的数据。调查共收回问卷61份，有效问卷38份。将调查数据输入系统，得到如下试评价结果：
图１ 网络学习平台的生态指数比较
(二)评测结果分析
从评价结果可以看出，国内开源在线学习平台E的生态指数最高，为0.6446，表明在六个受测平台中，其功能性、自组织性、连通性、易用性较好，已经迈入使用者的连通期。这与实际相符，因为该系统以国际化edX平台为基础，采用最先进的MOOCs/SPOCs教学理念，采用大型开放式网络课程的建设思想、建设理念以及相应的技术支撑平台来实现，学习者能够通过互联网方便、自由地获得平台上的资源。对移动应用的支持尤其丰富，如支持多版本的移动App、微信以及电视机OTT机顶盒。此外，其较强的开放性，保障了它能够汇聚更多的资源和用户，为其生长性奠定基础。
图２ 网络学习平台一级指标得分比较
图2显示，国外开源LMS平台D的生态指数最低，为0.552，表明其仍处于综合技术应用期。作为开源平台，它具有较强的开放性，比较适合高校开展慕课教学。但它在课程管理、教务管理等方面的得分较低，反映出相较其他传统学习管理系统功能较弱的实际。这表明，它在移动应用支持方面需要加强，易用性和生长性也有较大的提升空间。
以上六个受测学习平台中，五个处于第二阶段，即综合技术应用期；一个刚刚迈入使用者的连通期。这六个受测网络学习平台，代表着目前世界范围内网络学习平台发展的最高水平，也就是说，更多数的网络学习平台，实际上没有达到这样的发展水平。因此，基于上面分析可以判断：当前世界范围内，网络学习平台的发展，总体上正处在由综合技术应用期向使用者的连通期的进化和转型之中；少数发展较好的网络学习平台，已经进入使用者的连通期；当然也有一批低水平发展的平台，处在综合技术应用发展期的早期阶段。
这个基于测评数据分析所作的判断，大体上与我们对网络学习平台发展形势的直观认识一致。
六、基于大数据的评价模型实现及开放应用
“数学模型在本质上是近似的——既要精细到在本质上足以抓住各个问题，又要粗略到足以得到可计算的解。精细和粗略之间的平衡是通过反复试算得到的，该试探过程包括对初步结果的大量考验和进一步的灵敏度分析。”(哈维.M.瓦格纳，1992)因此，前面构建的评价指标体系和综合评价模型，必须在实践中不断验证和完善。
当前以个人学习为中心的网络学习平台，正朝着面向大众、大并发、虚拟化、多媒体、跨平台的大型服务平台方向发展，数字化学习资源也以指数速度增长。从生态角度看，其中一些平台在具备基础功能之后，已拥有大规模用户，经过教、学双方的互动，开始呈现群聚性、生长性、连通性等特征。这使得以传统的问卷调查方式获得的调查结果，无论从样本规模还是从样本的新鲜性上，都不足以反映快速发展变化着的研究对象。为此，本研究充分利用当前已发展成熟的大数据技术和工具，从各网络学习平台中实时采集数据，动态完善评价指标体系和用户评价数据，修正评价模型，并提供开放评价，实现基于大数据采集和分析的多角度、多层次评价，以及对评价结果的可视化呈现。
(一)实现围绕网络学习平台的大数据采集
1.被动采集。在本研究建立的开放评测网站上，开放接受所有来访者提供的数据。如网络学习平台开发者填写的平台指标数据；用户填写的对所用网络学习平台的体验数据(可以是按照本指标体系填写的系统性评价，也可以是针对平台某一方面的定性评价)；教育研究学者、专家或信息技术专家对评价指标权重的建议等。
2.主动连续采集。通过专门设计的大数据采集工具可自动采集有关网络学习平台的相关数据。具体方法包括：一是通过网络爬虫程序进行数据抓取采集，如自动收集开放评测网站上的用户评测记录，用于分析不同群体对网络学习平台关注的角度和需求焦点，为修正指标体系的功能指标与权重的设置提供支持。二是通过专门设计的第三方大数据采集工具，从各类网络学习平台上提取动态运行数据，如学习者网络行为大数据和学习者的学习过程表现大数据等。
(二)开发大数据分析工具，进行网络学习平台数据挖掘
主要为满足以下需要：基于网络学习平台用户学习行为记录大数据，分析网络学习平台的功能设计与用户学习行为之间的关联，发现影响网络学习平台应用成效的关键因素；对大量用户提供的对特定网络学习平台的应用体验综合分析，与基于大数据的网络学习平台评价模型对同一网络学习平台的评价相对比，不断验证和修正评价模型，使之更趋科学、准确；基于对采集到的网络学习过程中学习者个性信息的分析和挖掘，发现学习者对学习内容的偏好信息，掌握学习者个人学习情况、需求、能力、进度、兴趣等，为网络学习平台及时调整建设方向，提供更符合学习者需要的学习资源和环境。
(三)开放评测与开放运行
1.评测服务的开放性。设置独立运行的网站，免费提供使用；接受所有网络学习平台的自主数据录入；接受所有用户对网络学习平台的评价等。
2.评价体系的开放性。评价指标具有动态开放性，可以根据需要增减；指标权值可基于大数据分析动态修正；评测模型可以持续迭代完善。
3.评测技术与源代码的开放。向所有用户开放本研究所采用的评测技术、算法，并开放全部源代码，允许在此基础上进行修改和完善。
4.评价样本的在线采集和动态更新。通过接受网络学习平台开发商的自主数据录入，以及通过第三方大数据采集插件，在整个互联网范围内持续、自动采集各类网络学习平台的数据，确保本测评网络中的网络学习平台样本快速增加，从而提高评测分析的全面性和客观性；用户评价样本动态更新，测评网站始终开放接受用户对各类网络学习平台的使用体验评价，从而使基于用户视角的评价更加全面、客观。通过这两个方面的动态数据采集，可以保证所有测评将基于更加完备、甚至接近于全体的样本数据，而不再依赖于随机取样。
七、结论
本文构建了一套相对完整的网络学习平台生态指数评价指标体系，实现了基于大数据的在线、开放、动态的网络学习平台评测系统，可以对各类网络学习平台开展持续、多角度、多层次的定性与定量综合评测，包括可以从微观上对单个平台内部情况进行评价，也可以从宏观上以生态指数为标准对某类或所有网络学习平台进行总体考察。该评测系统的指标体系和评价模型可在持续积累的样本数据验证下不断更新，从而使网络学习平台的评测由孤立、静态、局部评价，转向基于大规模、动态更新而非随机取样的全面、连续评测，极大地提高网络学习平台评价的精确性、全面性、时效性、实用性。随着该开放评测系统中受评样本和评测活动数量的不断增加，评测系统自身将积累大量的数据，为其他相关研究提供重要支持。
本研究仍存在不足。一是由于时间等的限制，前期调查获得的可供分析的网络学习平台样本数量不多，还需要一段时间基于大数据的开放评测系统实际运行，积累足够多的样本数据，来验证和修正评价指标体系和评测模型；二是本研究指标体系侧重考察网络学习平台的生态特征，故在指标设置和权重分配时，突出了与生态特征方面，而将基础性功视为所有平台的标准配置，这可能会导致在具体评价中，那些基础功能好、受用户欢迎但群聚性、生长性等特征不突出的平台，得分较低，与一般用户的体验有出入；三是目前所构建的网络学习平台评价指标体系，没有进一步细分网络学习平台的类型，使得其对某些特色功能或属性的考察，难免失之于简略和笼统，辨析度不强。
参考文献
[1] 王涛（2015）.从信息系统发展阶段理论看网络学习平台的进化[J].现代教育技术，(5):47-52.
[2] Sandy Britain, O.L.（1999） A Framework for Pedagogical Evaluation of Virtual Learning Environments[EB/OL].http://www.eric.ed.gov/ERICWebPortal/recordDetail?accrno=ED443394,/2014-05-12.
[3] http://www.Edutools.info/static.jsp?pj=4&page=HOME.
[4] Edutech 项目网站：http://www.edutech.ch/.
[5] 张伟远，王立勋（2003）.网上教学环境评定指标体系之研究[J].中国远程教育,(17):34-39,78-79.
[6] 王志军（2011）.网络教学平台的选择和分析模型研究[D].北京：北京师范大学,2011.
[7] 姜中皎（2010）.开源与商业“课程管理系统”的选择与评价指标体系研究[D],北京：北京大学.
[8] http://www.Edutools.info/static.jsp?pj=4&page=HOME.
[9] Torstein Rekkedal等，Survey on the use of Evaluation Techniques in e-learning, http://www.docin.com/p-839419731.html. 2015-4-1.
[10] Félix Buendía García. www.iadis.org/Multi2006/ Papers/15/S020_EL.pdf.
[11] Asil Oztekin, Dursun Delen, Ali Turkyilmaz, Selim Zaim. A machine learning-based usability evaluation method for eLearning systems. Decision Support Systems 56 (2013) 63–73. 2013.
[12] 陈玉祥,朱桂龙(1994).科学选择的理论、方法及应用[M].北京:机械工业出版社:163.
[13] 殷旭彪,陈琳(2013).论数字化学习环境设计[J].现代教育技术,（5）:20-23.
[14] 刘任,董楠,韩峰等(2014). 群体方法在复杂系统易损性分析中的应用[J]. 数学的实践与认识, (4):152-158.
[15] 恩格斯(1995).马克思恩格斯选集(第三卷)[M].北京:人民出版社:535.
[16] 苏为华（2000）.多指标综合评价理论与方法问题研究[D].厦门：厦门大学.
[17] 于海波(2011). 网络学习模糊综合评价模型研究[D].沈阳:辽宁师范大学.
[18] [美]哈维.M.瓦格纳(1992).运筹学原理与应用[D].邓三瑞,等,译.北京：国防工业出版社：5-8.
作者简介：王涛，北京大学教育经济博士，高级工程师(wangtao66@pku.edu.cn)，研究方向：在线教育、数字媒体。
转载自：《开放教育研究》2015年6月第21卷第3期
排版、插图来自公众号：MOOC（微信号：openonline）