文献导读 | 二语写作研究中的语言准确性测量方法研究
提示：点击上方"英语写作教学与研究"免费关注哦
征稿：二语写作
文献导读栏目将会把最新期刊文章进行整理发布，每次推荐一篇SSCI或者CSSCI文章，供大家阅读浏览。
我们欢迎各位学者专家后台留言跟我们联系，授权给我们推荐您的文章，期待您的到来。
本期题目：An investigation into current measures of linguistic accuracy in second language writing research
摘要
This study begins by describing measures of linguistic accuracy in second language writing research. We first report on measures that have been used in the last ten years including holistic measures, error-free units, number of errors, number of specific error types, and measures that take error severity into account. We discuss differences in the measures used now vs. those reported on in Polio (1997) and conclude that interrater reliability and detailed coding guidelines are still underreported, making replication of studies very difficult. We then apply ten of these measures to the MSU data set to determine which are the most reliable and which best show change over time. The measures comprise holistic and error-free units as well as counts of specific error types. With the exception of counts of certain error types, we were able to obtain over .80 reliability on the measures though some of the measures were much easier to use than others. In addition, we attempted to determine whether or not these measures were measuring the same or different constructs by looking at correlations and change over time. Among the correlations, some were expected and some not. One conclusion was that weighted error-free units did not seem to differ from standard error-free units. Only the holistic measures and the number of preposition errors showed any change over time.
简介Brief Introduction
写作正确度常用于语言教学和二语习得研究中。正确度测量工具信效度的好坏会影响研究结论的可靠性。此类测量工具常包括整体型量表、统计T单元及统计错误等。尽管工具众多，但很少有研究针对这些测量工具的信度和效度进行系统综述。基于此，本文在综述近年来二语写作研究中正确度测量工具的基础上，通过选取5类测量工具分析ESL学生为期一学年的写作语料，考察这些测量工具的信效度、灵敏度和区分度，为研究者选择正确的测量工作提供指导。
研究问题 Research Questions
本研究分为文献综述研究和信、效度研究，具体研究问题如下：
1. 文献综述研究
（1）近来二语写作研究中使用哪些测量工具测量写作正确度？
（2）这些研究都回答了什么样的研究问题？
（3）这些研究是否都汇报了信度？都汇报了哪些种类的信度？汇报足够充分吗？
（4）这些研究是否都汇报了显著性差异和效应量呢？
研究方法 Research Methods
信、效度研究
（1）评分员间信度如何？
（2）测量工具之间的相关关系如何？
（3）哪一种测量工具可以捕捉ESL学生为期一学年的写作进展？
（4）哪一种测量工具可以区分一学年后进步组学生和未进步组学生的写作发展？
研究方法：文献综述研究+定量研究
研究程序：
首先通过文献综述研究确定写作正确度的测量工具，选择整理型量表（语言和单词分量表）、无错误单元（T单元和从句）、加权无错误T单元、错误统计、具体错误统计（动词词组、介词、冠词、词汇错误）等5类测量工具测量密歇根大学ESL学生为期一学年的写作语料，考察这些工具的信效度、灵敏度和区分度。
研究结果：
1. 文献综述研究
（1）在35篇论文中有44种测量方式，将其分为5类。第一类为整体型量表，共13种；第二类为无错误单元，共11种；第三类为统计错误，共7种；第四类为统计具体错误类型，共11种；第五类为涉及严厉度的错误统计，共2种。
（2）回答的研究问题主要有两类，一类是纠错性反馈、计划、任务复杂度的影响；另一类是个体写作和合作型写作的差异及历时变化等。
（3）在44种测量方式中，有20个未汇报信度、19个汇报了评分员间信度、1个汇报了评分员内信度；4个汇报了评分员间信度和评分员内信度。
（4）在44种测量方式中，有21个汇报了显著性差异，10个汇报了效应量。
2. 信、效度研究
（1）针对这些测量工具的信度，较低的是动词词组统计和单词错误统计，其余均为良好。
（2）针对这些测量工具的效度，本文通过考察相互间的相关关系得出结论。
效度较高的有：整体型量表、无错误T单元除以T单元总数、无错误从句数除以总从句数、单词统计除以总单词数以及加权（weighted）无错误T单元。
（3）无任何一种测量工具可以捕捉ESL学生为期一学年的写作进展。
（4）侧重单词的整体型量表可以区分一学年后进步组学生和未进步组学生的写作发展。
读后感 Comment
1. 本文与作者1997年发表的论文类似，都在附录中提供了详细的错误类型和编码准则，有利于提高评分员间的信度，也有利于研究者进行重复性研究。
2. 本文一大创新点在于：结合二语习得理论特别是Larsen-Freeman的动态系统理论对写作正确度进行了探讨，搭建起了写作研究和二语习得理论的桥梁。
3. 使用加权无错误T单元测量正确度时，不是让评分员对错误进行对错评分，而是根据严厉度或者错误的可接受程度进行评分。然而，研究结果显示其信度系数与统计T单元这种测量方式相差无几，是否意味着这种较新的错误统计方式在今后研究中无用武之地呢？
4. 作者提到，复杂度提高了而正确度没有降低可能就意味着写作水平有进步。我认为关键在于如何去界定写作水平或者写作能力。此外，也需要长期跟踪学习者的写作进展才能够下一个较为准确的结论。
5. 二语学习者避免犯错的机制是什么？能否通过调整写作情境、写作话题等诱导出二语学习者真实的语言表现或者能力？
6. 复杂度和正确度之间关系紧密，是否意味着今后测量正确度时复杂度也要一并测量呢？
7. 关于评分员，作者提到未来研究方向可以考察2个评分员、3个评分员、n个评分员进行评分，评分员间信度会有何不同？
8. CAF这类研究我觉得需要团队合作（也包括人机合作），单凭研究者本人去认定错误会存在许多不确定性，无法保证百分百准确。
9. 启示1：作者建议使用多于1种的测量方式，以期全面掌握学习者写作的正确度。面对如此众多的测量工具，研究者们该如何选择？
10. 启示2：正如作者所言，是否可以开发某种测量工具以适应不同语言水平的学习者？
11. 启示3：语言正确度的变化应该通过何种测量工具获得？语言正确度的发展曲线呈现何种规律？
12. 启示4：今后研究应该增加复制性研究，使用相同的话题，规定同样的写作时间，按同样的测量工具进行测量，以期验证这些测量的信效度。
第一作者简介：Polio, 密歇根州立大学教授，研究方向为二语写作。
• ❤️END❤️ •
原文下载、学术共读
回复关键词：原文
等你加入
精彩推文回顾