马宁等 | 面向在线异步交互文本的情感—认知自动化分析模型研究——以大规模教师在线培训为例

摘要：在线异步交互是大规模在线教育的一种重要交互方式，对学习体验和学习效果有较大影响。为深度挖掘教师学习者在线异步交互过程中的情感状态和认知水平，文章首先构建了面向在线异步交互文本的情感—认知自动化分析模型及其自动化分析流程，之后将模型应用于大规模教师在线培训课程，通过采集异步交互数据作为训练数据，从不同机器学习算法中选取最优算法，同时融合情感—认知词典进行算法模型训练，构建了面向具体应用场景的情感—认知算法模型。最后，文章得出研究结论：机器学习算法中支持向量机的文本自动化分析效果最好，融合词典与机器学习的方法能更好地提升算法模型的准确率，采用网格搜索进行参数优化可以进一步提升算法模型的效果。文章的研究为在线异步交互文本的自动化分析提供了研究思路和技术支持，有利于深度挖掘教师学习者隐藏在交互文本中的情感状态和认知水平，为自动反馈提供依据，对于优化异步交互学习过程具有重要意义。

关键词：在线异步交互；情感状态；认知水平；机器学习；教师学习者

引言

全面提升教师的素质能力，是我国教育信息化工作的一项重要任务^[1]。大规模在线教师培训作为教师专业发展的一个重要途径，得到了全球教育领域的广泛关注^[2]。其中，在线异步交互是一种非常重要的交流形式，教师学习者可以与学习同伴进行特定领域内容的深度交流，有助于保持学习兴趣并提高课程参与度，促进高阶思维发展，对学习者学习质量的提升有十分重要的作用^[3]。此外，交互过程中的文本信息能够清晰地再现教师学习者的情感、认知发展过程，有利于从中挖掘、提取隐藏的关键信息，为教师学习者提供自动干预和推理^[4]。

然而，由于在线教师培训的复杂特征，面向异步交互文本的情感状态和认知水平的自动化分析面临诸多挑战，如情感状态挖掘、认知水平判断的过程均依赖于特定学习者群体的特征和特定领域知识的结构；情感状态和认知水平具有较强的隐蔽性，难以精准判断；网络教研和专业学习过程中产生的大量过程性文本及其蕴含的大量认知、情感等方面的特征信息仍以人工分析为主^[5]，不仅耗时费力，而且不具备高可靠性，因而很多时候容易被忽视或放弃。基于此，本研究以大规模教师在线培训为例，采用融合词典和机器学习的文本自动化分析方法，构建面向在线异步交互文本的情感—认知自动化分析模型，以实现对教师学习者在线异步交互过程中情感状态和认知水平的深度挖掘，为提升教师在线培训效果提供思路。

一 在线异步交互自动化分析

当前，对在线异步交互过程中学习者的自动化分析主要从以下四个维度进行：认知水平、行为模式、情感状态和交互关系^[6]。李艳燕等^[7]比较了支持教师干预与反馈的自动化分析工具，发现多数工具聚焦于学习者的学习行为和交互关系分析，而缺少对情感状态与认知水平的深入探讨。可见，学习者异步交互过程中情感状态与认知水平的自动化分析有待进一步研究。

1 在线异步交互过程的情感状态自动化分析现状

情感状态自动化分析是指对学习者情绪反应水平的自动识别、判断与分析。异步交互过程中的态度和情绪是学习者学习质量的关键因素^[8]，且已有实证研究发现教师学习者在参与培训时情感状态具有显著的波动性^[9]。因此，深入挖掘学习者的情感状态对于优化异步交互学习过程具有重要意义。目前，许多研究者聚焦于在现有情感识别框架的基础上识别学习者的情感状态，如Tian等^[10]开发了一个面向在线学习者的情感识别框架，能够对异步交互文本中的情感主题进行提取；马相春等^[11]开发了一个学习者学习社区，在其中挖掘文本中的情感信息，并通过情感字典计算学习者的学习情感倾向。也有部分研究者通过建立情感算法模型实现对学习者情感状态的挖掘，如Liu等^[12]将情感倾向纳入异步交互算法模型，以探索特定讨论主题下情感倾向的差异。

2 在线异步交互过程的认知水平自动化分析现状

认知水平分析主要关注学习者在异步交互时使用的认知策略和心理资源。在异步交互过程中消除认知冲突、提高认知水平，对于实现教师的专业发展有重要意义^[13]。因此，对教师学习者的认知水平进行精准、高效的判断与分析尤为重要。目前，认知水平分析方法主要有问卷调查法、作品分析法、访谈法等，虽各具优势，但也存在一些不足。为此，研究者开始尝试使用内容分析法对交互内容做客观、系统的量化并加以描述，如马宁等^[14]采用内容分析法，从知识建构层级的角度分析教师学习者参与培训时的认知水平；孙雨薇等^[15]运用Henri的交互分析框架，探索教师学习者交互时提出的问题以及问题回应的认知水平。但目前内容分析法仍以人工分析为主，在数据编码与分析方面耗时巨大，难以完成大规模的数据挖掘，亟待突破技术限制。

在线异步交互过程中情感状态与认知水平的自动化分析，是通过基于固定规则对异步交互文本进行监督学习，从而将相关文本自动划分至某个类别的过程。目前，文本自动化分析方法主要有三种：①基于词典的方法，即以词典作为分类的主要依据，结合文本的语言特点和附加信息设计判断规则，实现文本分类^[16]。然而，该方法依赖于词典的质量与覆盖率，极大地限制了应用范围。另外，目前还没有专门针对教师在线培训这一特定领域的情感和认知词典，其中情感词典也仅仅涉及正、负两个极性，不适用于学习情境，亟需相关研究的探索。②基于机器学习的方法，是对人工标注的训练集进行算法模型训练，使算法模型很好地拟合训练集和类别之间的关系，并预测未知类别的文档^[17]。③融合词典和机器学习的方法，是将词典信息作为一种特征与其他特征相组合进行特征提取，构建算法模型实现文本分类^[18]。总的来说，融合词典和机器学习的方法优化了前两种单一文本分析方法的性能，可用于构建面向在线异步交互文本的情感—认知自动化分析模型，来深入挖掘教师学习者内隐的情感状态和认知水平。

二 模型构建与流程设计

1 模型构建

本研究基于在线异步交互过程，深度挖掘教师学习者的情感状态和认知水平，采用融合词典和机器学习的文本分析方法，构建面向在线异步交互文本的情感—认知自动化分析模型，如图1所示。该模型主要分为三大部分：①异步交互场景中的信息提取；②基于异步交互文本的情感—认知自动化分析；③基于异步交互文本的情感—认知自动化分析的应用。也就是说，基于在线学习平台先从不同的异步交互场景中提取文本，然后对文本进行情感—认知自动化分析，从而确定教师学习者的情感—认知状态，最后为教师学习者提供合适的反馈。

图1  面向在线异步交互文本的情感—

认知自动化分析模型

2 流程设计

依托面向在线异步交互文本的情感—认知自动化分析模型，本研究设计了如图2所示的自动化分析流程，主要思路为：首先，通过采集在线异步交互文本数据，对种子语料的情感状态和认知水平进行人工标注，并按比例分层抽取训练集和测试集；接着，进行数据预处理，形成词集；随后，对词集进行特征提取，结合评价指标从不同的机器学习算法中选取最优算法；最后，通过词性筛选构建情感—认知种子词集，词典拓展后形成情感—认知词典，同时融合词典进行算法模型训练，通过测试集不断优化算法模型参数，从而获得面向在线异步交互文本的情感—认知自动化分析算法模型（下文简称“情感—认知算法模型”）。

图2  面向在线异步交互文本的情感—

认知自动化分析流程

三 模型应用

本研究将面向在线异步交互文本的情感—认知自动化分析模型及其自动化分析流程应用于大规模教师在线培训课程，通过比较不同机器学习算法对异步交互文本分析的效果，同时融合情感—认知词典，构建面向具体应用场景的情感—认知算法模型，实现不同异步交互场景下教师学习者情感状态和认知水平的自动化分析。

1 数据采集与人工标注

本研究依托北京师范大学学习元平台^[19]，开设了“混合式理念下的项目式学习（第二期）”课程，开展大规模教师在线培训。整个课程为期5周，每周课程的学习时长为90分钟，在线异步交互活动围绕每周的学习主题开展。该课程共招募到1083名教师学习者参与课程学习，生成了12576条交互文本被平台自动记录。本研究借鉴情感状态分析框架（含高确定性、低确定性、中立、挫折、紧张等五个维度）^[20]、认知水平分析框架（含澄清、深度澄清、推理、判断、策略等五个维度，在此基础上本研究增加“其他”维度，将无关信息归入其中）^[21]，对少量种子语料（共2074条）进行详细的人工标注；同时，将在线异步交互文本数据集分层随机抽取80%、20%，分别作为训练集和测试集。

2 数据预处理

数据预处理就是通过数据清洗、分词、停用词处理和词性标记等方法，选择对分类有较高价值的数据，并过滤无用或价值较小的数据。本研究采用N-gram统计语言算法模型对异步交互文本进行分词处理，利用上下文相邻词之间的相关信息，选择具有最大出现概率的词语组合，实现自动分词。词性标记选择LightSIDE软件及其词类，其中共包含30多种词类。

3 机器学习算法的选取

（1）特征提取

特征提取直接影响算法模型的精确率、召回率及分类系统的效率^[22]。目前，特征选取的方法主要有TF-IDF权重计算、频率统计、信息增益、互信息等。本研究采用TF-IDF权重计算方法，通过计算某个特征词对一个类别的重要程度进行特征提取，特征词权重的计算如公式（1）所示。其中，TF为特征词频率，表示特征词在文本中出现的频率，用于衡量该特征词在文本中的重要性；IDF为逆文档频率，是指某个特征词的类别区分能力，其加入有利于区分文本的类别。但TF-IDF算法没有考虑同义词和词性，这可能会减弱模型的分类效果。

（2）评价指标

常用的评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1值（F1-score）等。多分类问题可以通过将其转化为多个二分类问题的方式展开评价，即在评价某一类别的分类性能时，将本类别看作正类、其他类别看作负类。用TP、FP分别表示分类正确、分类错误的正类数量，用TN、FN分别表示分类正确、分类错误的负类数量，其计算公式如表1所示。

表1  各评价指标公式表

与此同时，本研究运用Kappa系数值进行多分类算法模型准确度的评估，其计算基于混淆矩阵进行，可在一定程度上缓解数据集不同类别之间的不平衡问题（值越高，代表算法模型实现的分类准确度越高），具体如公式（6）所示。其中，Po通过该类别中正确分类样本数除以总样本数得到，Pe通过所有类别实际样本数和预测样本数的乘积除以总样本数的平方得到。

（3）机器学习算法选取

机器学习算法主要包括支持向量机、逻辑回归、决策树、朴素贝叶斯等四种。本研究将上述四种算法的评价结果进行对比，结果如表2所示。可以看出，与逻辑回归、决策树、朴素贝叶斯算法相比，支持向量机的准确率和Kappa系数值更高、分类也更准确。因此，本研究选用支持向量机作为机器学习算法，用来构建情感—认知算法模型。

在情感算法模型方面，四种机器学习算法在“高确定性”“中立”分类上的F1值普遍较高（均高于0.77），但在“挫折”“紧张”分类上的F1值普遍较低（均低于或等于0.68）。其中，支持向量机在“高确定性”“低确定性”分类上的F1值远高于其他三种算法，说明支持向量机在“高确定性”“低确定性”分类上可以更好地提取相关的语义信息。但是，由于整体的“挫折”“紧张”分类样本量过少，导致出现了数据集不同类别之间的不平衡，在一定程度上影响了算法模型的训练。

在认知算法模型方面，四种机器学习算法在“澄清”“深度澄清”分类上的F1值普遍较低（均低于0.78）。其中，支持向量机在“推理”“策略”分类上的F1值明显高于其他三种算法，说明支持向量机在“推理”“策略”分类上可以更好地提取相关的语义信息。但是，由于“澄清”“深度澄清”分类可能存在部分特征词语义相近、却被作为两个不同特征进行权重分析的现象，不利于四种算法模型的训练^[23]，故有待进一步改进。

4 面向具体应用场景的情感—认知算法模型构建

词典的词性筛选与同义词扩展，是提高算法模型准确率的一个有效方法。本研究融合词典和机器学习，展开基于词典的特征词词性筛选、同义词扩展与合并，以提高算法模型的准确率。

（1）情感—认知词典构建

词语的词性会影响词典的表现。在构建情感词典时保留名词、动词、形容词、副词等词性，可以使构建出来的词典更加全面、情感值计算更为合理。而在认知词典中，连词具有很强的认知意义。因此，对于情感词集，本研究仅保留形容词、名词、动词、副词这四种词性；对于认知词集，本研究还另外保留了连词，构成情感—认知的种子词集。

表2  不同机器学习算法的评价结果

《同义词词林》是目前国内较为常用的中文语义词典，已被广泛应用于中文词语相似度计算研究^[24]。本研究采用词关系扩展法，首先在《同义词词林》中查找与种子词库中词语语义同义的词语，接着将同义词语加入到种子词集，之后人工筛除无法作为教师培训领域词汇而又与种子词相似度较高的词语，最后经人工整合得到在线异步交互情感—认知词典，其类别、词数及例子如表3所示。

表3  在线异步交互情感—认知词典中

的类别、词数及例子

（2）算法模型训练

为了提高算法模型的分类性能，本研究采用融合词典和机器学习的方法，将在线异步交互情感—认知词典纳入算法模型特征集，并将语义相近的词语合并为同一特征。文本自动化分析方法的评价结果如表4所示，可以看出：相较于基于机器学习的方法，融合词典与机器学习的方法从整体上提升了算法模型的准确率和Kappa系数值，其中情感算法模型的准确率和Kappa系数值分别从0.8462、0.7956提高到了0.8702、0.8277，而认知算法模型的准确率和Kappa系数值分别从0.8058、0.7646提高到了0.8447、0.8118。

表4  文本自动化分析方法的评价结果

（3）参数优化

参数选择的优劣，将直接影响算法模型的分类效果。本研究采用带交叉验证的网格搜索来实现参数选择，具有计算简单的优点^[25]，主要思路为：遍历所有可能的参数组合，比较各种参数下情感—认知算法模型的准确率，将准确率最高的参数组合作为算法模型的最优参数。本研究通过人工筛选确定折数k，来实现多折网格搜索，得到的参数变化曲线如图3所示。通过对相关数据进行比较，本研究发现：当折数k=17时，情感算法模型的准确率和Kappa系数值达到最高值（情感准确率=0.8846、情感Kappa系数值=0.8468）；当折数k=14时，认知算法模型的准确率和Kappa系数值达到最高值（认知准确率=0.8689、认知Kappa系数值=0.8411）。可见，在大规模教师在线培训异步交互场景中，可运用经过参数优化的情感—认知算法模型，实现准确率较高的情感状态和认知水平自动化分析。

图3  参数变化曲线

四 结论与讨论

本研究基于面向在线异步交互文本的情感—认知自动化分析模型及其自动化分析流程，以大规模教师在线培训为例，采集异步交互文本作为训练数据，从不同的机器学习算法中选取最优算法，同时融合情感—认知词典进行算法模型训练，通过训练集不断优化算法模型参数，构建了面向具体应用场景的情感—认知算法模型，所得研究结论主要如下：

1 机器学习算法中支持向量机的文本自动化分析效果更好

本研究对支持向量机、逻辑回归、决策树、朴素贝叶斯四种机器学习算法的文本自动化分析效果进行了对比，并根据准确率、精确率、召回率、F1值、Kappa系数值这五个评价指标，从中选取最优的机器学习算法，结果发现：相较于其他三种机器学习算法，支持向量机的准确率和Kappa系数值更高、分类也更准确。究其原因，可能在于支持向量机算法对未知实例的泛化能力较强^[26]，故能较好地适用于教师培训领域，可以剔除大量与培训内容相关但与情感认知无关的冗余样本——Lin等^[27]的研究也得出了相似的结论。

2 融合词典与机器学习的方法能更好地提升算法模型的准确率

本研究对基于机器学习的方法、融合词典与机器学习的方法的评价结果进行了对比，发现采用融合词典与机器学习的方法构建情感—认知算法模型，可在一定程度上改善数据集不同类别之间的不平衡、特征冗余等问题。此外，融合词典与机器学习的方法从整体上提升了算法模型的准确率和Kappa系数值，这与Wang等^[28]在文本自动评分领域的研究结论相似：将同义特征词进行编码、合并，以提高相关概念的“密度”，可使相似文本被成功地归为同一类别，故有助于提高算法模型的准确率。

3 采用网格搜索进行参数优化可以进一步提升算法模型的效果

本研究采用带交叉验证的网格搜索来实现参数优化，通过人工筛选，最终确定当折数k=17时，情感算法模型的准确率和Kappa系数值达到最高值；当折数k=14时，认知算法模型的准确率和Kappa系数值达到最高值。因此，通过遍历各种参数组合，选择最优参数，可以进一步提升大规模教师在线培训异步交互场景中情感—认知算法模型的效果。

五 结语

如何改善教师学习者在线异步交互过程中的交互效果，是在线异步交互研究的一个应用领域和重要分支，具有较大的研究前景^[29]。本研究聚焦于教师学习者群体，构建了面向在线异步交互文本的情感—认知自动化分析模型及其自动化分析流程，并基于具体应用场景开发了情感—认知算法模型。在模型应用的过程中，本研究发现支持向量机对异步交互文本的自动化分析效果更佳，融合词典与机器学习的方法从整体上提升了算法模型的准确率和Kappa系数值，采用网格搜索方法进行参数优化可以进一步提升算法模型的效果。

本研究构建的面向在线异步交互文本的情感—认知自动化分析模型，可实现不同异步交互场景下教师学习者情感状态和认知水平的自动化分析。后续研究可以结合时间序列，对教师学习者在线异步交互过程中隐藏的情感状态和认知水平进行系统分析与诊断，深入了解教师学习者在连续时间段内的在线学习状态，并为其提供适应性自动反馈，以促进教师学习者及时自我反思、自我调节，从而优化在线学习体验、提升在线学习效果。

参考文献

[1]汪茹.基于云服务正反馈的区域教师培训策略研究[J].电化教育研究,2018,(12):123-128.

[2]嵩天.以在线开放课程为引领的大学课程改革新模式[J].中国大学教学,2019,(11):13-17.

[3]Li J, Tang Y, Cao M, et al. The moderating effects of discipline on the relationship between asynchronous discussion and satisfaction with MOOCs[J]. Journal of Computers in Education, 2018,(3):279-296.

[4]刘三女牙,彭晛,刘智,等.基于文本挖掘的学习分析应用研究[J].电化教育研究,2016,(2):23-30.

[5]Rosé C P, Ferschke O. Technology support for discussion based learning: From computer supported collaborative learning to the future of massive open online courses[J]. International Journal of Artificial Intelligence in Education, 2016,(2):660-678.

[6]郑娅峰,徐唱,李艳燕.计算机支持的协作学习分析模型及可视化研究[J].电化教育研究,2017,(4):47-52.

[7]李艳燕,邢爽,包昊罡,等.在线协作学习中学习分析工具对教师干预的影响研究[J].中国电化教育,2019,(2):80-86.

[8]Liu Z, Yang C, Rüdian S, et al. Temporal emotion-aspect modeling for discovering what students are concerned about in online course forums[J]. Interactive Learning Environments, 2019,(5-6):598-627.

[9]刘清堂,武鹏,张思,等.教师工作坊中的用户参与行为研究[J].中国电化教育,2016,(1):103-108.

[10]Tian F, Gao P, Li L, et al. Recognizing and regulating e-learners’ emotions based on interactive Chinese texts in e-learning systems[J]. Knowledge Based Systems, 2014,55:148-164.

[11]马相春,钟绍春,徐妲.大数据视角下个性化自适应学习系统支撑模型及实现机制研究[J].中国电化教育,2017,(4):97-102.

[12]Liu Z, Pinkwar N, Liu H, et al. Exploring students’ engagement patterns in SPOC forums and their association with course performance[J]. Eurasia Journal of Mathematics Science and Technology Education, 2018,(7):3143-3158.

[13]马宁,李亚蒙,何俊杰.群体知识建构视角下教师混合式研训的组内交互及知识建构层次分析[J].现代教育技术,2019,(4):47-53.

[14]马宁,崔志军,曾敏.以协同知识建构为核心的教师混合式研训效果研究——基于内容分析的方法[J].中国电化教育,2018,(9):117-122、131.

[15]孙雨薇,冯晓英,王瑞雪.混合式教师研修课程中教师问题解决行为的研究[J].中国远程教育,2018,(11):50-60、80.

[16]陈龙,管子玉,何金红,等.情感分类研究进展[J].计算机研究与发展,2017,(6):1150-1170.

[17]Gao H, Zeng X, Yao C. Application of improved distributed naive bayesian algorithms in text classification[J]. The Journal of Supercomputing, 2019,(9): 5831-5847.

[18][22]李慧.面向学习体验文本的学习者情感分析模型研究[J].远程教育杂志,2021,(1):94-103.

[19]余胜泉,杨现民,程罡.泛在学习环境中的学习资源设计与共享——“学习元”的理念与结构[J].开放教育研究,2009,(1):47-53.

[20]Kim J, Shaw E, Wyner S, et al. Discerning affect in student discussions[J]. Proceedings of the annual meeting of the cognitive science society, 2010,(32):2344-2349.

[21]Henri F. Computer conferencing and content analysis[A]. Collaborative Learning Through Computer Conferencing[C]. Berlin Heidelberg: Springer,1992:117-136.

[23][27]Lin Y, Yu H, Wan F, et al. Research on classification of Chinese text data based on SVM[A]. IOP Conference Series: Materials Science and Engineering[C]. UK: IOP Publishing, 2017:012067.

[24]梅家驹,竺一鸣,高蕴琦.同义词词林(第二版)[M].上海:上海辞书出版社出版,1996:1-653.

[25]袁颖,于少将,王晨晖,等.基于网格搜索法优化支持向量机的围岩稳定性分类模型[J].地质与勘探,2019,(2):608-613.

[26]杨剑锋,乔佩蕊,李永梅,等.机器学习分类问题及算法研究综述[J].统计与决策,2019,(6):36-40.

[28]Wang C, Liu X, Wang L, et al. Automated scoring of Chinese grades 7-9 Students’ competence in interpreting and arguing from evidence[J]. Journal of Science Education and Technology, 2021,(2): 269-282.

[29]Yoon S A, Miller K, Richman T, et al. Encouraging collaboration and building community in online asynchronous professional development: Designing for social capital[J]. International Journal of Computer-Supported Collaborative Learning, 2020,(3):351-371.