双人试评样例怎样覆盖真正容易分歧的表现?

从目标维度、边界表现与证据完整性选择双人试评材料,避免样例只有明显优秀和明显不足。说明独立评阅、样例注释与版本维护,帮助教师检验评分标准而非记忆示范分数。

考试与评价

双人试评样例应覆盖不同表现水平,尤其包括部分完成、合理替代路径和信息不足等容易分歧的情况。两名评分者先独立记录依据,再比较差异,并回查样例是否包含足够上下文。样例库应保存解释与适用版本,不能只有参考分数;其作用是帮助理解标准,而不是要求遇到相似答案就机械给同分。

按量规边界选择材料

先逐项查看量规,找出相邻等级最难区分的地方,再为这些边界寻找或编制教学样例。样例可以呈现答案完整但理由不足、结论不同但依据合理等组合,避免优秀样例所有维度都优秀、不足样例所有维度都很差,否则难以检验实际评分中的取舍。

样例应带有任务要求、学生可见资料和必要上下文。口头或操作表现使用片段时,注明片段边界以及前后是否发生提示。若材料不足以判断某项表现,就明确标为不可判断,不要为形成示范分数而补想未记录的行为。教学编制样例也应标明其性质,不冒充真实考生答卷。

先保留独立判断再形成注释

试评时不给出预期分数,让两名评分者各自写出维度判断和关键依据。讨论从依据是否相同开始,再看标准解释是否一致。若一人发现另一人漏看的信息,先补齐观察;若双方依据相同但等级不同,则回到量规边界,判断需要澄清哪部分描述。

最终样例注释应说明为何属于某等级、什么变化会进入相邻等级,以及哪些表现不能由现有材料判断。只写标准分无法帮助后来评分者理解。若课程允许多种合理路径,应保留不同形式的样例,避免样例库无意收窄了本来允许的答案范围。

让样例库随任务更新

样例与题目、量规及评分规则版本相互关联。修改任务或等级边界后,要重新检查旧注释是否仍成立,不能沿用过去分数却不说明标准变化。正式考试材料进入培训样例库前,应按机构要求去标识化并确认可使用范围,避免把保密试题与个人信息随意扩散。

新评分员培训可以混合使用已注释样例和未见过的试评材料,检查其是否理解标准而不是记住分值。每轮收集仍然产生分歧的类型,补充有针对性的样例。样例数量并非越多越好,关键是覆盖真实边界并保持解释清楚、版本可追溯。

实施检查清单

  1. 样例覆盖部分完成与合理替代路径。
  2. 评阅前隐藏参考分并保留独立依据。
  3. 注释说明相邻等级的分界条件。
  4. 样例与任务及量规版本共同维护。

常见问题

可以只选择真实考试里的高低分答卷吗?

可以作为来源之一,但还应补足边界与特殊表现。只看高低分容易让培训过于简单,且真实材料的使用需符合机构安排。

两位评分者最终必须完全一致吗?

应先理解差异并按既定规则形成可解释结论。有些差异提示量规需要改进,不能通过强行统一数字掩盖问题。