文档介绍：心理科学 Psychol,RicaScienc 2005 ,28(6):1459 一1462 14 5 9
一个基于综合印象评分法的作文分事后调整模型‘
朱正才镶由杨惠中
()
摘要对大学英语四、六级考试作文评分进行了详细的描述,重点介绍了作文分的事后调整的原理和方法,并且给出了一个
基于线性等值原理的数学推导。认为其数学模型主要是一个运用了“极大似然估计法”和“正态分,‘概念的统计模型。“评分标
准的制定’、“用参照样卷来校准阅卷员对作文评分标准的掌握尺度“以及“阅卷员的培训和考核’构成了大学英语四、六级考试
作文信度的基石;而作文分调整巾基干一随机分发作文卷、“客观题分致与作文分相关”以及闷评分前后一致性’的统计方法则对
出现系统性误差的阅卷员的评分结果进行了事后的校正。还提出如果拥有往次考试总体作文分均值数据,使用“加权移动平均
法”可以实现对作文分的跨考次平衡。
关健词:信度作文分调整正态分
finders )川,准确地体现评分标准中的五个档次,作为培训阅卷
1 前言
员的统一标准之用。同时再选二十篇作文,分布在分数段的
对作文评分信度影响最大的是评分过程。同一篇作文, 全距,准确评好分数,但将分数隐去,供阅卷员试阅,以观察阅
不同的阅卷员可能给出不同的分数。提高作文阅卷的信度就卷员掌握评分标准的程度,并且通过试阅和讨论统一思想,使
是要保证评分过程当中评分的一致性,包括阅卷员本人的一阅卷员准确掌握评分标准。
致性、阅卷员之间的一致性和阅卷点之间的一致性,要采取一 2 2 实际评分时要求阅卷员在一读而且只能是一读的基础上
定的质量控制措施尽量减少和滤除阅卷员的主观性对分数的打印象分
影响。评分的原则是奖励,而不是扣分。阅卷员只需要判定某
近年来对作文评分的研究发展也很快。作文题的评分通篇作文卷相当于哪个档次的参照卷,然后相应判分,在一个档
常有两种方法:一种是综合法,一种是分析法。分析法是把一次内略高略低,完全由阅卷员凭印象评分。
篇作文分解为若干要点,如内容、结构、文章连贯性、语法、词汇 2 .3 要求每名阅卷员所阅作文卷的得分与这些考生客观题的
等,不同的要点也可作不同的加权处理,各要点得分的总和即得分相关系数大于
为全篇得分。综合法是凭阅卷员通读一遍的总体印象打分。若相关系数太低,说明该阅卷员缺乏评分一致性,忽高忽
综合法的优点是能从总体上把握通篇印象,评卷速度比较快。低,超出系统误差允许的范围,则第二年不再聘为阅卷员。每
考虑到大学英语四、六级考试规模太大,采用综合法和一读的位阅卷员都有代号,这样就逐步建立起一个稳定的阅卷员队
评分方法,然后根据考生的客观题得分进行调整,滤除系统误伍。
差。 2 .4 对阅卷员的要求首先是严格掌握评分标准,其次是评分
本文将在 2001 年 6 月 165 万余四级考生作文分及其调整要保持一致性
数据的基础上,详细地描述和分析大学英语四、六级考试中作阅卷员阅卷不论偏宽或偏严,要求在整个阅卷过程中评
文评分的过程、阅卷员评分误差的控制方法和原理以及还可分标准能保持一致(阅卷完成后,每名阅卷员所阅作文卷的得
能存在的问题。本研究的结论可能对我国大规模考试中作文分与这