大学生接受iWrite自动评分系统调查

摘    要：iWrite自动评分（Automated Essay Scoring）系统的应用在一定程度上减轻了教师评阅学生作文的工作量。调查显示，学生对于该自动评分系统中纠错型和拓展型反馈内容的接受程度比较高，概括型反馈信息对学生修改作文的指导性不大，作为评语补充信息的柱状图也常常被学生忽视。虽然iWrite自动评分系统的优点被广泛接受，但教师反馈仍然是学生的首选，特别是在构建多源反馈的作文评价模式中，教师反馈是不可缺位的。

关键词:自动评分系统;自动反馈;教师反馈;评价;

Survey on College Students Approval of iWrite Scoring

SUN Yuanchun FU Linna WANG Danyu

大学英语教学中，英语写作教学是一个难点。写作本身是一个复杂的语言加工与输出过程，英语写作又多了一层从汉语到英语的语言和思维转码过程。英语写作质量和能力提高是一个循序渐进和长期积累的过程，学生要依据教师对作文的反馈，有针对性地多次修改作文，实现语言质量的提升和写作能力的提高，反馈对于学生英语作文修改行为具有重要指导作用。实际教学过程中存在一个困境，即教师把大量时间和精力用于作文的评价与反馈上，学生对于即时反馈的需求仍然无法得到满足。真正实现反复反馈与修改的机会很少，特别是英语写作教学往往是嵌套在英语阅读教学中，师生对于英语写作训练的积极性都不高。

随着互联网信息技术和计算机技术在教育领域的应用，相对于传统的教师评分和评价反馈形式，写作自动评分（Automated Essay Scoring）系统具有反馈即时的优势。随着此类系统使用率的上升，对于写作自动评分系统的研究也在广度和深度上不断拓展。本研究以i Write写作自动评分系统为例，调查大学生对于写作自动评分系统中各个类型反馈模块的接受程度，为进一步构建即时、高效和准确的多源反馈评价模式提供参考。

反馈最初是控制论的基本概念，指将系统的输出返回到输入端并且以某种方式改变输入进而影响系统功能的过程。随着过程教学法的发展，反馈这一概念借用到教学中。在英语写作教学中的反馈指教师针对学生英语作文给出的评分、评价和修改信息，以期帮助学生顺利修改英语作文，从而提升英语写作质量和水平。英语写作反馈是学生对英语作文进行修改的重要依据和指南，也对学生英语写作知识的构建和英语写作能力的提升产生促进作用。

写作反馈从其来源、形式载体、内容属性、出现位置等标准可以有多种分类。计算机技术和网络技术的介入，促成了写作自动评分系统的出现，使英语写作反馈在来源和形式载体上进一步丰富。写作自动评分系统经历了不断更新、迭代与完善，主要功能不再仅仅局限于给作文打分这一种反馈模式，反馈模式和内容也不断丰富。自动评分系统在英语写作教学中的应用缩短了学生等待作文评价的反馈时间，减少了教师对学生英语写作中出现的重复率较高的语言错误进行批改与评阅的工作负担[1]。自动评分系统具有的即时性和高效性得到充分发挥[2]。国内外对于写作自动评分系统的研究集中在如下三个方面。

一是自动评分系统反馈的质量和效度，主要采取将自动评分系统反馈与人工评分反馈进行对比，多数研究得到的结论是自动评分系统反馈的质量不如人工反馈的质量[2]。部分研究证明自动评分系统在错误识别的质量和数量上都不如教师反馈，在错误识别上还有待改进[3]。

二是自动评分系统反馈对学生英语写作质量和能力的影响。部分实证研究表明自动评分反馈系统有利于提高学生的英语写作水平和英语作文质量[4,5,6]，学生英语写作中句子的长度和句子结构的复杂程度都有所提高[7]。黄绍莹、张荔将研究对象细化为不同水平学生，发现不同水平学生写作能力受到的影响显著性存在差异[8]。

三是自动评分系统对于学生学习行为的影响。自动评分系统能够提高学生作文修改意识、辨识能力和批判意识[9,10]，以及批判式思维能力。

从i Write产品的使用者和体验者视角，探究学生对于i Write自动评分系统反馈接受度的研究较少，分析学生对i Write自动评分系统中各个模块反馈内容的认同程度的研究更少。本研究基于教学实践，通过问卷调查探讨学生对于i Write自动评分系统整体的评价和对该系统不同反馈模块内容的接受度，以期为构建有效的英语写作评价反馈模式提供参考。

一、研究设计

以i Write自动评分系统为依托，调查3个问题：学生对i Write自动评分系统的总体评价，对于i Write自动评分系统中各个模块反馈内容的接受度，对于不同来源的反馈所持有的倾向性。

研究对象为本校非英语专业二年级，7个自然班学生共计236人。男生176人，女生60人。

依据i Write自动评分系统反馈的形式，结合黄礼珍及王梦军的研究问卷，编写了i Write自动评分系统反馈接受度调查问卷[11,12]。该问卷共设置题目17个。问卷分为三个部分：第一部分（7个题）调查学生对i Write自动评分系统的总体评价，涉及i Write自动评分系统对学生英语写作质量、水平、信心、兴趣等方面的影响；第二部分（7个题）涉及学生对i Write自动评分系统中各个模块反馈内容的接受度；第三部分（3个题）是将i Write自动评分系统的评分形式与传统评分形式进行对比。

在大二第一学期将i Write自动评分系统应用到英语写作教学和评分中，在持续一学期的教学中，学生共计在i Write上提交作文6次，每次作文在截止日期前不限制修改次数。教师通过自动评分系统查阅和修改学生作文。学期结束时发放问卷236份，回收率100%。教师对回收问卷进行数据统计。

二、结果与讨论

（一）对i Write自动评分系统总体评价

从问卷结果来看，学生接受i Write自动评分系统在英语写作教学中的应用，基本适应了该自动评分系统对其英语作文进行评分、评价并且给出修改建议等。从问卷统计结果可知，表示“非常喜欢”和“喜欢”该系统的学生比例分别为6.78%和22.88%；表达“中立”看法的学生占53.39%。学生在英语写作实践中体验到i Write自动评分系统反馈的优势，并从中获益。在学生列出的喜欢该自动评分系统的原因中，位列前三项的分别为评价及时、按句点评和给出修改建议。与传统的人工评分反馈模式相比较，“评价及时”和每篇英语作文都能够实现“按句点评”是自动评分系统的显著优势。

学生肯定了i Write自动评分系统对其英语写作心理变化起到的积极影响，以及对其英语写作能力和质量提升起到的促进作用。69.91%学生表示英语写作信心得到增强，还有44.07%学生认为自己对英语写作更感兴趣了，有33.83%学生认为在该系统提交作文时会感到“非常”或者“比较”有压力。心理因素的积极暗示会提高学生的自我效能，75.85%学生认为自己英语写作能力得到提升；在英语写作质量提高方面，74.57%学生认为该评分系统“非常有帮助”和“有帮助”。表1列出了学生对“你认为i Write自动评分系统对于你英语作文质量提高的帮助体现在哪几方面”（多选）的回答。从表1中可见，拼写（50%）、写作规范（标点，拼写规则）（49.58%）、语法（42.37%）和句子结构（41.1%）词汇选择（37.71%）成为学生受益比较大的5个项目，说明学生对于这5项内容的反馈接受度是比较高的。

  表1 英语写作质量提升项目

学生对于i Write自动评分系统应用到英语写作的评分和评价中持肯定态度，该自动评分系统有助于提高学生英语写作信心和兴趣。大部分学生认为使用该系统有助于自身写作能力提升，而学生对自身能力的积极评价会降低学习焦虑情绪，起到促学作用。从使用者角度，学生肯定了i Write自动评分系统对其单词拼写的准确度、写作规范意识的增强、语法的准确使用等是有促进作用的。与教师批改作文的模式相比，i Write自动评分系统的即时性具有极大优势，这也是学生认同该系统的主要原因之一。同时，“按句点评”也是学生欢迎该自动评分系统的原因。教师在进行作文点评时，很难做到每一篇作文都逐字逐句的批改，特别是在时间紧任务重的情况下更难实现。

另外，英语作文中的细节性错误，如标点的使用失误，有时在人工批改过程中会被忽略，i Write自动评分系统对于作文的检查不会随着每次写作任务的检查侧重点的不同而发生变化。原因在于自动评分系统检索规则相对稳定，检查的条目类型也不会发生变化。基于自动程序的自身算法，自动评分系统在标注作文中的词汇、语法等的错误时会出现错误，但总体来说，自动批改系统的功能还是比较稳定的。因此，i Write自动评分系统优势是对现有人工英语作文反馈模式的一种有益补充，即可以减轻教师批改英语作文的负担，也可以在一定程度上保证批改英语作文时不会出现漏检的项目。

（二）对i Write自动评分系统中各个反馈模块接受度

在i Write自动评分系统中反馈按照内容展现形式，可以分为4种类型：纠错型反馈即标注出英语作文错误位置（标红），指明错误原因并且给出修改建议；拓展型反馈即在“更多表达”栏目中列出可以替换的词汇、表达形式或者句式结构；概括型反馈即作文评语；图示型反馈即用五星级别和柱状图将评语中关于作文内容切题程度和作文连贯程度图示化，并且标注百分比。

学生对于i Write自动评分系统4个模块反馈内容总体的接受度和认同度还是比较高的，表示“完全认同”和“比较认同”反馈内容的学生比率分别为11.44%和51.69%。问卷对于不同反馈模块内容的理解和接受程度进行了进一步的调查，结果显示，50.42%学生认为评语（概括型反馈）中对于其作文内容切题程度、作文连贯程度和段落衔接的评价比较模糊，对于作文修改的指导性不大。学生对评语中此部分的关注和认同度不高，即对概括型反馈内容接受度不高。i Write自动评分系统通过柱状图来呈现学生作文内容切题程度和作文衔接状况的做法得到了55.51%学生的认同，“认为i Write用百分比柱状图表示的‘作文的连贯性，内容切题程度’的方式有利于其英语作文修改”。但是，有14.83%学生对此持否定态度，另有29.66%学生表示“从未关注过”图示型反馈模块中的柱状图和百分比数值。

以上数据说明，学生对于概括型反馈和图示型反馈的接受度一般，概括型反馈内容对学生英语作文内容切题度和连贯度的模糊表述对于修改作文的贡献度不大。学生不能从该表述中找到明确的修改信息，如具体指出哪部分内容不适合；内容不切题的原因；文章连贯性问题是由于语义不畅造成的，还是衔接手段造成的，等等。虽然有可视化的柱状图对评语中的模糊性词汇给与信息补充，但这些补充信息都是非具体性的，缺乏针对性和指导性。另外，学生对自身文章内容的切题度和连贯度的主观判断往往高出其实际水平，因此，对于这两部分反馈模块内容的接受度居中。

与概括型和图示型反馈模块相对的是纠错型反馈和拓展型反馈模块的内容，这也是i Write自动评分系统最为集中展示的部分。针对这两个反馈模块，问卷设置了“你对于i Write自动评分系统中列出的错误、修改建议（纠错型反馈）和‘更多表达’栏目（拓展型反馈）的描述内容理解吗？”的问题。表示“完全理解”和“比较理解”纠错型和拓展型反馈内容的学生占比数量分别为30.08%和61.86%。也就是说，绝大多数学生对于这两个模块反馈的内容是理解的。学生在理解反馈内容之后是否接受修改意见呢？这种接受和认同是否对作文修改起到作用呢？表2是从学生对纠错型反馈和拓展型反馈模块内容的接受频率和选择修改的项目（多选）两方面来回答以上两个问题。

从表2的数据可以看出，学生对于纠错型反馈和拓展型反馈内容的接受频率还是比较高的。表示“总是”和“经常”的人数占44.34%与表达“有时”的人数占比47.46%基本相当，“很少”或者“从不”接受纠错或者建议反馈内容的人数仅占7.20%。学生在作文修改时，倾向于采纳涉及词汇（61.44%）和语法（69.47%）这两部分的反馈内容，对于这两部分反馈内容的接受和认同程度超出对于内容（27.97%）和文章结构（29.66%）的反馈接受度。

问卷还调查了学生在接受纠错型反馈内容后的作文修改过程，进一步解析学生对反馈内容的认同在其作文中的体现程度。结果发现，“自己思考出错的原因，不参考反馈意见，直接修改”即修改作文时完全不采纳修改反馈意见的学生占13.98%；“直接按照提供的反馈意见修改”（18.64%）和“先自己思考出错的原因，再参考反馈意见，最后按照反馈意见修改”（34.32%）即完全采纳修改反馈意见的学生合计占比52.96%；“直接参考并且辨别反馈意见正确与否，再有选择性的采纳反馈意见进行修改”即选择性采纳反馈意见的学生占比33.05%，绝大多数学生会在其作文修改时参考纠错型反馈的内容。13.98%学生虽然认同i Write自动评分系统对于英语作文存在的错误进行的标注和对错误原因的描述，但不会采纳修改意见。绝大部分学生会主动思考后，全部或者部分接受和采纳修改建议并且改正。这说明学生对纠错反馈内容具有较高的辨别意识和批判意识。学生可以识别出i Write系统基于其系统本身算法造成的标注错误，这种识别过程也是学生语言能力得到锻炼和提高的过程。

i Write自动评分系统中拓展型反馈以“更多表达”这一栏目的形式呈现。25.85%学生认为该栏目可以提高其词汇的选择度，但51.42%学生表示“可选择项之间的细微差异很难把控”；“有时出现使用了替换词或者更新表达方式修改作文，但并不能够达到提高作文分数的目的，甚至出现分数降低的现象”，这给学生造成了一定的困惑。这种情况同样是与自动评分系统评分机制有关，它很难实现结合学生作文的实际语境提供更为贴切表达，只能是依据算法列出可替换的表达方式，这就需要教师帮助学生从可替换的表达方式中选取符合作文实际语境的表达方式。可以采用引导的方式启发学生思考，也可以直接为学生解答困惑。

（三）对不同来源反馈的倾向性

对于“你会根据i Write自动评分系统给出反馈意见做出相应的修改吗？”的问题（题12）选择“总是”的人数占比为16.53%而56.36%学生“总是”会“接受老师的建议，并改正”。这说明学生对教师反馈内容的信任度要高于对i Write自动评分系统反馈内容的信任度。教师的权威性和可信度是学生“总是”“接受教师建议”的主要原因。对于不同来源的反馈排序（表3）更能反映出学生对于教师反馈的信任程度依然很高。

如表3所示，位列英语写作评分和评价反馈来源前三位的依次是教师、教师+同伴及教师+i Write，说明学生更信赖来自于教师的反馈。

调查显示，学生肯定i Write自动评分系统如下优点：评价及时、按句点评、修改建议详尽、点评涉及项目全面、提供可选择替换的词汇或者结构、增强写作信心和缓解写作焦虑等。特别是该系统“评价及时”和“按句点评”的强大功能得到绝大多数学生的认可。即便如此，表3的数据说明学生对于教师反馈的需求并未减少，有教师参与的反馈形式仍然占主导地位。排序的结果显示，i Write自动评分系统作为唯一反馈来源时，仅位列第五，说明学生倾向于接受来源于人工或者由人工参与的反馈，教师的反馈在英语写作评价过程中是不能够缺位的。教师无论是作为反馈的唯一来源还是来源中的一项，其主导作用是不可改变的。在“教师+i Write”反馈模式中，教师应该更多关注i Write自动评分系统不能够完成的任务，如对于作文内容选择和段落衔接的指导，对于该系统中出现识别错误的纠正，对可替换词汇和更多表达方式给出切合实际的建议等。另外，教师还需要及时解释由于系统评价机制造成的反馈内容失误，以及解决由这种失误给学生带来的困惑。

三、结语

随着新技术在英语教学中的应用，英语写作批改和评价的方式也发生着变化。i Write自动评分系统在英语写作教学中的应用减轻了教师的负担，学生能够接受该自动评分系统的反馈模式。

在i Write自动评分系统反馈的4个模块中，学生对于纠错型和拓展型反馈内容的接受程度颇高，对于纠错型反馈中的修改建议的接受和采纳程度也比较高，拓展型反馈内容有利于丰富学生的词汇量和表达方式。由于概括型和图示型反馈内容表述缺乏对作文修改的针对性和指导性，这两个反馈模块获得的关注度和接受度不高。接受i Write自动评分系统的同时，学生期望教师持续性地参与英语作文的评分与评价。自动评分系统作为教育技术工具的一种，融合于英语教学日常是一种趋势。但是，自动评分系统应该是对教师反馈形式的补充，而非取代，教师反馈更不能缺失。教师需要恰当地利用新技术和新工具，形成教师反馈为主导，自动评分系统为辅助的反馈模式，切实实现对英语作文做出及时、高效和准确的评价。

参考文献

[1] 张荔，MARK W，盛越.自动作文评阅系统研究述评与展望[J].当代外语研究，2016(6):54-61.

[2] DIKLI S,BLEYLE S.Automated Essay Scoring Feedback for Second Language Writers:How does It Compare to Instructor Feedback?[J].Assessing Writing,2014(22):1-17.

[3] 张荔，盛越.自动作文评阅系统反馈效果个案研究[J].外语电化教学，2015(3):38-44.

[4] GRIME D,WARSCHAUER M.Utility in a fallible tool:A multi-site case study of automated writing evaluation[J].Journal of Technology,Language,and Assessment,2010,8(6):44.

[5] 王淑文.如何利用Writing Roadmap 2.0进行在线英语写作反馈[J].现代技术教育，2011(3):18-22.

[6] 王菲.自动评分系统在二语写作教学中的反馈效果实证研究[EB/OL].搜狐，-www.sohu.com/a...-2017-05-24.

[7] 曹婷.自动作文评分系统反馈对不同水平学生写作句法复杂程度的影响——以句酷批改网为例[J].大学英语教学与研究，2018(5):94-97.

[8] 黄绍莹，张荔.自动作文评阅系统对不同水平学习者英语写作能力的影响——基于批改网的研究[J].外语与翻译，2015(4):70-75.

[9] 蒋旭，陈茜.AWE纠正性反馈对大学英语写作修改行为的影响[J].中国教育信息化，2021(4):58-62.

[10] 刘应亮，柳加英.在线写作自动评改系统对英语学习者写作错误修改的影响——基于i Write的实证研究[J].中国外语教育，2018(2):67-74.

[11] 黄礼珍.对大学生使用作文自动评分系统写作的调查[J].江苏外语教学研究，2017(4):18-21.

[12] 王梦军教师反馈与自动评分系统反馈对高中英语写作影响的对比研究[D]淮北:淮北师范大学，2018.