人工智能与未来教育前沿研究｜贾积有 王光迪：应用大语言模型快速有效分析教育访谈文本

引用格式

贾积有 王光迪.应用大语言模型快速有效分析教育访谈文本[J].中国教育信息化,2023,29(12):034-041.DOI:10.3969/j.issn.1673-8454.2023.12.004

人工智能与未来教育前沿研究

应用大语言模型快速有效分析教育访谈文本贾积有   王光迪

摘　要： 教育科学研究中经常采用访谈调查法，通过对访谈文本进行内容分析以满足研究的需要，传统的访谈文本分析依赖人工逐一编码和标注，费时费力。而大语言模型因其强大的自然语言处理能力，为自动化处理教育访谈文本提供一种新的可能。基于以某创客教育项目为主题的学生访谈文本内容，利用大语言模型对初始访谈文本进行预处理、提炼摘要式总结，归纳出一套针对教育访谈文本处理的提示词框架。研究结果表明，应用大语言模型自动化处理教育访谈文本不仅可行，而且快速有效；提出的提示词框架可以生成一份基于初始访谈文本，简明扼要、主题清晰、信息要素齐全的高质量摘要式总结。

关键词： 大语言模型；提示工程；生成式人工智能；访谈法；教育技术

中图分类号： G434

文献标志码： A

文章编号： 1673-8454（2023）12-0034-08

作者简介： 贾积有，北京大学教育学院教授、博士生导师，博士（北京 100871）；王光迪，北京第二外国语学院汉语学院硕士研究生（北京 100024）基金项目： 全国教育科学规划2022年国家一般项目“基于大数据挖掘的学生智能评测和辅导研究”（编号：BCA220208）　

一、引言

　　访谈法是教育研究中常见的重要手段。在教育研究中，通过访谈法收集到的资料被研究者整理成访谈文本并进行文本挖掘，得到的信息经处理后能成为后续教育评估和教育决策的参考依据。因此，合理科学地使用访谈法，高效精准地处理访谈文本也是教育研究者必备的专业素养之一。　　然而，在实际运用访谈法进行科研的过程中，教育研究者会发现访谈法具有一定局限性。除了访谈者和访谈内容本身的主观性、不全面性等专业领域的针对性问题，由于访谈内容的灵活性和访谈环境的不确定性，初始访谈文本往往呈现重点内容和非重点内容混杂的状态，需要人工耗费大量的时间和精力进行编码标注、厘清访谈线索、总结访谈焦点，因此，对访谈文本的后续处理是所有采用访谈法的科研人员都要面临的普遍性问题。　　同时，人工智能等新技术蓬勃发展，正在催生新型教育形态。“生成式人工智能”在美国高等教育信息化协会（EDUCAUSE）于2023年5月8日发布的《2023地平线报告（教与学版）》（2023 EDUCAUSE Horizon Report:Teaching and Learning Edition）中被列为影响未来高等教育领域的关键技术与实践。^[1]而大语言模型（Large Language Model，LLM）是生成式人工智能的代表。在教育场景中，大语言模型为教育研究人员高效处理并分析大规模的教育数据和文本资料提供一种新的可能，相较于人工处理访谈文本，它展现出更大的优势，包括自动化处理效率高、耗时短，以及在结合提示工程（prompt engineering）的基础上个性化处理访谈文本，进一步提高访谈文本的分析质量。　　基于此，本文将介绍在教育场景下应用大语言模型对访谈文本进行文本预处理和总结分析的方法，归纳展示一套针对教育访谈文本处理的提示词框架，以期为探究应用大语言模型自动化处理大规模教育访谈文本的路径提供参考。

二、访谈文本的相关研究

　　在教育领域，访谈文本具有重要的研究价值。首先，分析访谈文本可以深入了解学生和教师的观点和反馈，从而更好地揭示学生和教师在教育过程中面临的需求和问题，发现教育体系的薄弱环节、学生的学习障碍、教师的需求等，为改进教育政策和实践提供指导。其次，访谈文本能够反映教育实践的有效性，通过访谈参与者的回答和观点，教育研究者可以了解教育项目，以及课程或政策对学生学习成果、兴趣和参与度的影响，有助于提高评估教育实践的质量，为改进和优化教育提供依据。最后，访谈文本还可以为教育改革和创新提供理论和实践的支持，为促进教育研究和理论构建提供丰富的实证材料。因此，对访谈文本进行高质量的科学分析至关重要。　　（一）访谈文本的构成特点　　本研究分析的访谈文本来自对8所小学参加创客教育学生的访谈录音，访谈采取半结构化方式，以集体访谈的形式进行。文中涉及的访谈文本具有以下特点：　　第一，访谈文本重点和非重点内容混杂。半结构化方式指的是访谈者根据具体情况随时调整访谈方案，在把握访谈大纲的基础上鼓励受访者积极自由表达，以获取更丰富的材料。集体访谈指的是一个访谈者面对多个访谈对象进行访谈。这种访谈形式具有较高的开放性和自由度，允许访谈者在核心问题基础上进一步探索和追问，受访者也相应提供更深层次的观点经验、更细致的思考过程和动机背景。访谈者提问具有较大的灵活性，同时每个受访者的生活经验不同，对同一事物所观察到的细节和所感受的体验不同，基于他们个性化的认知特点，在面对相似的访谈问题时发挥程度也各有不同，所以，访谈文本篇幅往往字数不一，且获取的反馈信息的质量水平和思维深度参差不齐。　　第二，原始文本信息要素模糊。访谈过程中可以对访谈对象进行观察，包括访谈对象在表述观点或陈述事实时的言辞、语气、神态、动作等，利于判断访谈对象的说法可信度、全面性等，而在后期对访谈内容进行文本转录时会损失一部分可能透露重要信息的表情、语气、动作等非文字性元素，增加访谈双方的口头禅、重复表达、环境噪音等冗余信息。同时，语音识别准确率的技术缺陷也会导致访谈文本中出现错别字、术语误用、标点符号缺失、信息缺失等问题。　　（二）访谈文本的处理方法　　质性研究中经常采用扎根理论，即研究者以实际观察入手，从系统收集到的原始资料中归纳出经验概括，寻找反映社会现象的核心概念，然后上升到建构出概念之间关联的理论。对资料进行逐级编码是扎根理论操作程序中最重要的一环，对访谈文本的处理遵循“开放式登录—关联式登录—核心式登录”的编码典范，即研究者根据访谈大纲回收资料后将问题录入记录表，并逐步归纳主题、进行编码，直到明确逻辑关系、提炼出核心理论。现有很多可视化工具或软件能够帮助研究者进行文本资料的质性分析和量化分析，如MAXQDA 2018、NVIVO、ATLAS.ti等。

三、大语言模型相关研究

　　（一）大语言模型及提示工程　　大语言模型是指对文本语料库进行自监督学习的基于Transformer架构的深度神经网络模型，它可以自动提取语言特征，并生成符合语言习惯的新文本。^[2]它作为由人工智能技术驱动的信息获取新工具，功能远远超过以往的任何检索搜索工具。^[3]　　对于部署成本颇高的大语言模型，人们不追求以修正模型参数的方式满足任务需求，而是采取提示词（prompt）模式。提示工程（prompt engineering）是一种通过提供初始文本提示词或问题来引导模型生成所需的响应或输出的技术。这种方法允许用户以自然语言的形式与模型进行对话或交互，并通过提供适当的提示词来引导模型生成期望的回复。提示工程的发展使大语言模型的输出更加可控和可预测，能提高人机交互的效率和准确性。在提示工程领域，已有提示类型包括任务性提示、示例性提示、限定性提示、个性化提示等不同的方式。其中任务性提示和示例性提示是提示工程中最常见的两种方式，是非常适合作为访谈文本处理的提示方式。任务性提示为指导大语言模型提供特定的任务输出，如在分析访谈文本过程中提出提示任务“请为以下访谈文本生成一个总结”。示例性提示指在提示中提供特定的示例，控制大语言模型的文本生成，如在进行访谈文本预处理时，给出规范的优化文本作为参考，以人工修改后的文本为标准进行提问，从而提高回答质量。　　（二）应用大语言模型处理教育访谈文本可行性分析　　用户可以通过自然语言指令直接与大语言模型进行交互，简化任务的执行过程，降低人们利用人工智能技术处理任务需求的门槛。在教育研究和评估领域，通过构建优质的提示工程，大语言模型可以发挥以下作用：　　1.文本纠错和文本处理　　大语言模型通过学习大量的文本数据，可以自动识别和纠正文本中的错别字、常见的口头禅、冗余的语气词和重复的表达，并根据上下文和语言规则推断出更合适的表达方式，使文本更加清晰和精练。使用特定的提示词对访谈文本进行预处理时，大语言模型能够通过对访谈文本进行分析和比对，根据上下文和语法规则推断初始访谈文本中存在的错别字、生造术语、无意义的口语化表达等文字问题，去除冗余信息，保留有效信息，提高后续处理的准确性。　　2.数据分析和文本挖掘　　大语言模型能够从大量的访谈文本中发现、提取，以及理解有价值的知识、模式和关联信息，快速提取大规模访谈文本中的重点内容，把握受访者情感态度，并结构化组织文本中的关键信息，呈现必要的细节。在教育访谈文本分析过程中应用大语言模型构建知识库并提取出关键信息，为研究人员快速了解受访者的观点、综合各研究结果进行进一步的分析总结提供知识支持。同时，大语言模型还能根据文本的上下文和语义信息，识别出访谈文本中的主题和话题并进行分类，有助于研究人员了解访谈的覆盖范围和焦点问题，明确访谈线索。另外，通过对访谈长文本进行情感分析，大语言模型可以识别出文本中的情感倾向，如正面、负面或中性情感，有助于研究人员了解受访者在访谈中表达的情感态度倾向，为全面分析受访者的观点和意见提供数据支持。　　3.成为更好的编码辅助工具　　在对访谈文本进行编码时，除了分析文本本身内容之外，提取访谈主题的意义和价值时，需要还原访谈小场景和社会大背景，复杂的现实因素应纳入主题归纳考虑之中。大语言模型具备世界知识能力，包括事实性知识（factual knowledge）和常识（commonsense）。^[4]而传统的编码辅助软件并不具备这样的能力，可能存在细节信息提取失真的问题。同时，大语言模型处理访谈文本还展现出相较于人工的突出优势。一是自动化处理效率高。大语言模型是自动化的文本分析工具，不需要像人工一样逐一阅读和分析每个文本样本，通过调用应用程序接口（Application Programming Interface，API）的手段，可以在较短时间内完成大量的分析任务。二是低技术门槛的交互方式。通过利用简单直观的自然语言指令，不具备专业技术背景或深入的领域知识的教育研究新手也可以利用大语言模型来分析教育访谈文本，随时调试需求和控制模型输出。

四、应用大语言模型处理访谈文本

　　（一）研究内容

　　本研究分析的访谈文本整理自对8所山西省和陕西省的小学生的访谈录音。访谈主题为学生参加学校里创客教育项目的感想体会，访谈采取半结构化方式，以集体访谈的形式进行，录音转录后得到总数为37,440字的8份初始访谈文本。访谈文本处理工具为ChatGPT3.5 turbo大语言模型，ChatGPT的全称是聊天生成预训练转换器（Chat Generative Pre-trained Transformer），是美国人工智能实验室OpenAI公司开发的人工智能聊天机器人程序。^[5]

　　（二）研究方法

　　使用大语言模型处理访谈文本主要包含三个步骤：一是预处理文本，二是总结访谈文本内容，三是生成摘要式综合总结，流程如图1所示。其中，基于上文提到的提示类型，本文对不同提示做研究和调整，构建三个提示工程的提示类型如表1所示。

图1　使用大语言模型分析访谈文本流程

表1　提示类型　　1.初始访谈文本预处理

　　预处理阶段采用提示工程一。提示工程一包括两组提示词。第一组提示由一个任务性提示和一个单一样本学习（one-shot learning）示例性提示组成。单一样本学习可以让大语言模型明确访谈文本优化的标准，如标注句末标点、整合同一说话人的访谈内容、去除重复表达等，是在文本预处理阶段使用效果最好的提示方式。

　　（1）任务性提示

　　请按照以下要求对访谈文本进行优化：

　　①去除文中重复词语和句子。

　　②去除汉语常见口头禅，如“这/那个”“呃”“就是”“然后”等。

　　③改正错别字和相关术语。

　　④加上合适的汉语标点符号，保持原来的分行。

　　（2）单一样本学习示例性提示

　　例如：

　　访谈文本：

　　都学习过了

　　那

　　还有那个涂染

　　涂染湿度的什么

　　火焰

　　火焰

　　那是温度的那种传感器

　　温度也试过

　　温度是试过的

　　那这种尝试就是在老师的这个指导之下

　　然后做一个项目的过程中去使用到的是吗

　　那就是有没有比如说自己有一些想法的过程之中

　　会想着比如说我们在课下或者是完成老师任务之后

　　去做一个什么样的东西

　　优化后文本：

　　都学习过了。

　　还有那个涂染、湿度的什么?

　　火焰。

　　那是温度的那种传感器。

　　温度也试过。

　　温度是试过的。

　　那这种尝试在老师的这个指导之下，做一个项目的过程中去使用到的，是吗？

　　那有没有比如说自己有一些想法的过程之中会想着我们在课下或者是完成老师任务之后去做一个什么样的东西？

　　访谈文本：

　　第二组提示由一组重复的任务性提示组成。ChatGPT3.5 turbo大语言模型单次处理文本限制为1,500到2,000个汉字，需要对各个访谈文本进行切分，该组提示重复到对单个访谈文本处理完结束。

　　（1）任务性提示

　　请按照以上要求优化以下访谈文本：

　　（2）任务性提示

　　请按照以上要求优化以下访谈文本：

　　……

　　预处理阶段结束之后将得到8份优化后的访谈文本。为测试大语言模型的预处理质量，本研究对比对同一访谈文本进行人工预处理和大语言模型预处理两种方式的文本相似度，如表2所示。由于人工预处理根据访谈录音补充了访谈文本细节，而大语言模型是基于原本转录文字材料进行删减，所以预处理后字数出现一增一减的情况。但是高达77.02%的文本相似度说明，提示工程一操作大语言模型执行文本预处理任务的结果具有较高可信度。

表2　两种预处理方式效果对比　　2.分总结

　　分总结阶段使用提示工程二。提示工程二由一组重复的任务性提示组成，同样囿于大语言模型单次处理字数限制，需要对每个优化后的访谈文本进行切分，该组提示重复到对单个访谈文本处理结束。该阶段处理完毕之后将得到8份针对各个优化后访谈文本的分总结。

　　（1）任务性提示

　　请对以下访谈文本进行总结：

　　（2）任务性提示

　　请对以下访谈文本进行总结：

　　……

　　3.综合总结

　　提示工程三是对所有分总结进行摘要式综合总结。由于大语言模型的交互形式为单轮对话，而任务需求是对超出单次处理字数限制的多个文本进行一次性总结，所以提示工程三由一组形成多轮对话的闭合式任务性提示组成。提示工程三的任务性提示一中，对话次数根据处理访谈文本个数进行修改，该提示重复次数和处理访谈文本个数相等。

　　（1）任务性提示一

　　接下来的8次对话中，我每次发给你一个总结，请在每次收到后回复“好的”。

　　①分总结一

　　②分总结二

　　……

　　（2）任务性提示二

　　请综合以上8个总结进行综合总结。

　　（三）研究结果

　　根据每一步研究需求，最终设计出一套针对教育访谈文本处理的提示工程框架，如表3所示。

表3　提示工程框架　　根据该提示工程框架提炼出一份简明扼要、主题清晰、信息齐全的摘要式总结。以下内容为应用大语言模型采用上文流程对8个访谈文本的摘要式综合总结生成的结果：

　　学生积极参与创客活动，并通过创客课程和比赛展示自己的学习成果。他们对创客活动持有积极态度，认为它有趣且简单，能够培养他们的动手能力和创造力。学生喜欢教师的指导和任务安排，并计划参加比赛展示自己的作品。他们通过学习编程和手工技能不断提高自己，并希望在未来的课程中挑战和超越其他案例。

　　学生在创客课程中使用机房电脑进行编程，并完成多个项目。他们喜欢使用模块拼装的方式学习编程，并通过观看视频教程、向教师或同学请教来学习。小组合作是他们喜欢的学习方式，通过讨论和合作来完成任务。在创客课程中，学生的思维能力、问题解决能力和创新思维得到提升。他们希望未来的课程能包括更多有趣的内容，如游戏编程，并提出一些自己想要制作的项目。学生的家人对他们参与创客活动持支持态度，并认为这是一种新颖的学习方式。

　　综合来看，学生通过积极参与创客活动，在实践项目、小组合作和教师指导下，能提高编程技能和创新能力。他们对未来的课程和项目有积极的期望，并得到家人的支持和认可。这些访谈能使我们深入了解学生在创客课程中的经验获得和未来的发展方向。

　　这段摘要式综合总结表达清晰，内容简洁明了，没有冗余的词语和句子，以客观的角度描述学生在创客活动中的积极参与和成果展示，突出他们对创客活动的态度和认可。文中基本以事实为基础，提到学生使用机房电脑进行编程、喜欢小组合作、通过讨论和合作来提高思维能力、问题解决能力等细节。说明大语言模型对访谈文本的重点内容的抓取、受访者情感态度的把握、关键信息的组织方面表现较好。

五、总结与展望

　　研究表明，针对教育领域常见的访谈文本处理问题，使用大语言模型作为文本分析工具具有一定的现实价值。总体而言，应用大语言模型对教育访谈文本进行分析具有以下特点。

　　第一，耗时短且效果佳。大语言模型具备强大的自然语言处理能力，可以高效地分析大规模的教育访谈文本。相比使用传统的编码辅助软件结合人工的内容分析方法，使用大语言模型能节省大量的时间和人力成本，并且能够提供高质量的分析结果，显然具有很大优势。

　　第二，交互简单易上手，提示工程具有普遍性。通用型大语言模型可以应用于各个领域的文本分析，包括教育领域的访谈文本，它的推广也意味着可以广泛应用于不同的教育研究和实践场景。同时，自然语言指令的交互方式使分析过程更加直观和对用户友好，每一个人都可以借鉴这套提示工程框架指导大语言模型个性化地执行私人文本分析任务。

　　需要注意的是，尽管大语言模型具备极大的潜力和应用价值，但它目前仍然存在一些教育应用和伦理问题。包括且不限于：①真实性难以保证，存在算法隐藏、文化偏见现象。^[6]虽然大语言模型相较于传统编码软件已经具备更加完善的世界知识，但仍需使用者明确文本分析的目的要求、仔细甄别分析结果中是否存在虚假内容。②倾向于生成模棱两可的回应。大语言模型作为一个大规模的语言模型，只能在数据的基础上对人类的语言行为进行模仿，内容随机、不透明、不可控。^[7]

　　有学者认为，如果人工智能将导致人类的终结，那么在教育中使用人工智能可能会加快人类终结的到来。因此，对人工智能在教育中的应用应当慎之又慎。^[8]也有学者认为，我们应该保持开放，拥抱技术变革，不故步自封，不过早下结论。^[9]作为教育研究者，应该具备足够的人工智能素养，拥有以开发、实施，以及使用人工智能技术为核心的知识、技能和价值观，^[10]在应用大语言模型提升研究效率的同时应遵守社会伦理道德规范。

参考文献：

　　[1]EDUCAUSE.2023 EDUCAUSE horizon report:teaching and learning edition[EB/OL].(2023-05-08)[2023-10-18].https://library.educause.edu/resources/2023/5/2023-educause-horizon-report-teaching-and-learning-edition.

　　[2]克劳斯·迈因策尔,贾积有,张誉月.ChatGPT和人工智能:从基本原理到教育应用[J].北京大学教育评论,2023,21(1):35-48,188.

　　[3]李志民.ChatGPT本质分析及其对教育的影响[J].中国教育信息化,2023,29(3):12-18.

　　[4]朱光辉,王喜文.ChatGPT的运行模式、关键技术及未来图景[J].新疆师范大学学报(哲学社会科学版),2023,44(4):113-122.

　　[5]KEVIN ROOSE.The brilliance and weirdness of ChatGPT[N].The New York Times,2022-12-05.

　　[6]杨海燕,李涛.ChatGPT教学应用:场景、局限与突破策略[J].中国教育信息化,2023,29(6):26-34.

　　[7]贾积有,张誉月.人工智能与教育:机遇、挑战与对策[J].北京大学教育评论,2023,21(1):49-61,188-189.

　　[8]谭伟,张曼茵,陈良.人工智能应用于教育的风险及其应对[J].中国教育信息化,2023,29(7):22-29.

　　[9]焦建利,陈丽,吴伟伟.由ChatGPT引发的教育之问:可能影响与应对之策[J].中国教育信息化,2023,29(3):19-32.

　　[10]韦恩·霍姆斯,孙梦,袁莉.人工智能与教育:本质探析和未来挑战[J].中国教育信息化,2023,29(2):16-26.

Analyzing Educational Interview Texts Using Large Language Model

Jiyou JIA¹, Guangdi WANG²

（1.School of Education, Peking University, Beijing 100871; 

2.Chinese Language Institute, Beijing International Studies University, Beijing 100024）

Abstract: The method of Interview survey is often employed in educational scientific research, and content analysis of interview texts is carried out to meet research needs. Traditional interview text analysis relies on manual coding and annotation, which is time-consuming and laborious. Large language model has strong natural language processing ability, which guarantees a possibility for automatic processing of educational interview text. Taking the semi-structured interview texts collected from eight primary schools in a maker education project as an example, this study uses a large language model to preprocess the initial interview texts, extract summary, and conclude a set of prompt word framework for text processing of educational interviews. The results show that it is feasible to apply the large language model to the automatic processing of educational interview texts, and the effective construction of prompt word frame can generate a concise, clear and comprehensive high-quality summary based on the initial interview text.

Keywords:  Large language model; Prompt engineering; Generative artificial intelligence; Interview methods; Educational technology

编辑：王天鹏   校对：王晓明

往期目录｜超链接版

点击此处 在线投稿

期刊简介

《中国教育信息化》创刊于1995年8月，是由中华人民共和国教育部主管，教育部教育管理信息中心主办，面向国内外公开发行的国家级学术期刊。期刊内容力求全面深入地记录我国教育信息化的建设进展、研究与应用成果和行业发展状况，开展我国教育信息化发展状况调研和教育信息化国际比较研究，服务于国家教育宏观决策；力求全面准确地把握教育信息化相关的方针政策和标准规范，及时追踪ICT前沿技术的发展趋势及其与教育的融合，深度挖掘教育信息化建设与应用的体制、机制创新，服务于我国教育信息化实践。

●RCCSE中国核心学术期刊

●中国人文社会科学（AMI）扩展期刊

●中国期刊全文数据库收录期刊

●中文科技期刊数据库收录期刊

●国家哲学社会科学学术期刊数据库收录期刊

●中国核心期刊（遴选）数据库收录期刊

●龙源期刊网收录期刊

一年12期，每月20日出版

20元 / 期，邮发代号：82-761

编辑部邮箱：[e-mail]

通讯地址：北京市西城区华远北街2号921室