七分学弟给整篇作文估分分四步:模型先提取可观察的证据,另一个步骤逐字校对表面错误,代码再把证据转换成四项分数,最后让模型围绕已确定的分数生成学习反馈。这篇文章按顺序说明每一步做什么、哪里可能出错,以及你应该怎样使用这个分数。
- 提取证据模型读题目和作文,记录任务回应、结构、用词、语法方面能观察到的现象
- 逐字校对另一个步骤只列出表面错误,代码核对每处都真的出现在原文里
- 代码校准规则把证据换算成四项分数,再用已核实的错误密度限制用词和语法分
- 生成反馈模型围绕已经确定的分数写出问题、示范和下一步
第一步:提取证据,而不是直接打分
让模型直接给一个总分,结果很容易受文章长度、语气和模板句的影响。所以第一步只让模型记录能在原文里找到的现象:题目的每个部分有没有回应,立场是否前后一致,段落之间有没有推进,词汇搭配是否自然,语法结构有没有变化。这一步的输出是一组证据标签,不是分数。
第二步:逐字校对表面错误
模型阅读时会顺手“读懂”拼错的词,于是表面错误容易被少算,文章写得越差,这种偏差越明显。所以单独设了一个校对步骤:它只负责把拼写、词形、词语选择、冠词、主谓一致这类错误按原文列出来,不评价文章好坏,也不推测作者想表达什么。
模型列出的错误还要过一道代码检查:每处“原文片段”必须真的出现在作文里,而且和修改建议不同,凭空编出来的错误会被丢掉。通过检查的错误才会进入后面的计算和反馈。
第三步:代码把证据换算成分数
任务回应、连贯与衔接、词汇、语法四项,每一项都由规则根据证据标签校准出来。总分是四项的平均值,取最接近的半分。随后有两道限制:
- 已核实的错误密度会限制词汇和语法的分数,错得多的作文不会因为词汇看起来丰富而拿到高分。
- 任何一项都不能比最低的一项高出超过 1.5 分,避免出现四项里只有一项特别高的偏差。
界面上显示的分数区间是总分上下各半分。官方评分把四项标准平均计算,估分的做法与它的结构保持一致,但这只是估分,不是官方成绩。
第四步:反馈不能改分数
分数确定后,另一个模型调用才会写反馈:指出主要问题,引用原文里的句子,给出下一步练习建议,并尝试改写一个主体段。这一步拿到的是已经算好的分数,不能重新决定分数。这样做是为了让“分数”和“建议”两件事分开:建议可以写得很流畅,但分数不会因为文字漂亮而变动。
改写示范和分数是什么关系
改写示范是另一种表达的参考,不是你这篇文章“本来能拿到”的分数。模型写出的段落读起来流畅,并不能证明你的原文已经达到同样水平。使用示范时要先确认意思和图表信息有没有被改变,再合上示范,用自己的话重写一版。
目前的验证能说明多少
我们的测试集里带官方分数的作文只有八篇:五篇 Task 1,三篇 Task 2。样本里没有 6 到 7 分的 Task 2,也没有 8 分以上的作文。调整规则和检验结果用的是同一批样本,所以在这批样本上的平均误差约 0.4 分,不能当作独立的准确率测试,更不能据此说“对所有学习者都准”。另用 30 篇带网站标注分数的外部作文试过,估分与标注分数的相关系数只有约 0.15,区分度有限,写得较差的作文平均仍被估到 6 分以上。这些外部分数本身也有噪声,但它说明弱文章被高估的风险是真实存在的。
即使输入完全相同,模型多次运行的结果也可能相差半分。所以页面上写明:AI 估分有 0.5 到 1 分的误差;拼写和语法错误很多的作文可能被高估。
怎样使用这个分数
单次分数的上升,可能来自文章真的变好了,也可能来自模型波动。更有用的检查有三个:
- 反馈指出的问题,你能在原文里找到对应的句子吗?
- 修改以后,这个问题解决了吗?
- 同类问题在下一次写作里还会出现吗?
分数适合用来看几次练习的趋势,不适合用来决定要不要考试。
想看一篇自己的作文会得到什么估分,可以粘贴到雅思写作 AI 批改,免费试一次,注册后再免费批改 3 次。AI 分数仅供参考。
怎样把反馈接到练习里
先读批改后的修改步骤,挑一个能核对的问题重写。只需要查看段落与字数时,可以用结构检查,它不调用 AI。正式评分要求见 IELTS 官方评分说明。
各项分数常见的问题,以及 6 分到 7 分的差别,见雅思写作 6 分到 6.5 分怎么提高。