文档介绍：第十五章测验发展与信效度
1/22
课程目标
了解标准化测验的基本特性
了解标准化测验的编制程序
了解信度的意义与类型
了解效度的意义与类型
了解信度与效度的关系
第1页/共21页
第十五章测验发展与信效度
2/22
测验发展的基本流程
文献整理与资料搜集
发展测验编制计划
试题编写
预试施测
项目分析
建立正式量表
技术指标建立
(信度与效度分析)
量表维护
(常模的建立与更新)
正式施测
准备阶段
预试阶段
正式阶段
后续发展
第一节
第2页/共21页
第十五章测验发展与信效度
3/22
测验编制计划的内容与说明
第一节
第3页/共21页
第十五章测验发展与信效度
4/22
信度(reliability)
意义: 测量的可靠性 trustworthiness
一致性(consistency)─表示测验内部试题间是否相互符合
稳定性(stability)─不同的测验时点下,测验分数前后一致的程度
信度的数学原理
凡测量必有误差,误差由机率因素所支配,为一随机误差(random error)
第二节
第4页/共21页
第十五章测验发展与信效度
5/22
古典测量理论的信度观点
测量分数组成
测量分数=真分数+测量误差
测验总变异量=真实分数的变异+随机误差变异
信度系数
1-误差占测量变异百分比
信度系数介于0与+1之间,数值越大,信度越高
第二节
第5页/共21页
第十五章测验发展与信效度
6/22
测量标准误 SEM (Standard Error of Measurement)
信度表示测量分数的稳定与可靠性,亦表示测量受到测量误差的影响程度
测量分数的变异量,受到测量误差影响的部分,称为测量误差变异量,开方后称为测量标准误(σe)
测量误差被假设呈常态分配,因此测量标准误配合常态化机率可以用来进行测量分数的区间估计
rxx X特质的测验信度
X分数的95%的信心区间
第二节
第6页/共21页
第十五章测验发展与信效度
7/22
信度的类型
再测信度(test-retest reliability)
系指以同一种测量工具,对同一群受试者,前后测验两次的相关系数。又称稳定系数。
复本信度(a1ternate-form reliability)
同一群受试者接受两种复本测验的得分之相关系数。
折半信度(split-half reliability)
测验题目依题目的单双数或其他方法分成两半,计算受测者在两半测验上的分数的相关系数。
内部一致性系数(coefficient of internal consistency)
反映测量工具内部同质性、一致性或稳定度。同质性越高,代表量表试题是在测量相同的特质。KR20适用于二分变量的测量,Cronbach’s α适用于多元尺度变量的测量。
评分者间信度(inter-rater reliability)
不同的评量者间分数的相关系数。
第二节
第7页/共21页
第十五章测验发展与信效度
8/22
常用信度
折半法
测验题目依题目的单双数或其他方法分成两半,计算受测者在两半测验上的分数的相关系数。折半方式多为odd-even split。
相关系数多采史比校正系数
(Spearman-Brown prophecy formula)
内部一致性法原理
反映测量题目的内部同质性、一致性或稳定度。原理为计算测量项目的平均相关(rij),同质性越高,代表量表试题是在测量相同的特质。
内部一致性系数(coefficient of internal consistency)
KR20(Kuder & Richardson, 1937) 适用于二分变量的测量
Cronbach’s α适用于多元尺度变量的测量
第二节
第8页/共21页
第十五章测验发展与信效度
9/22
影响信度的因素
影响信度的关键因素是测量误差,可以减低误差的方法,即能够提高信度。
基本原理:中央极限定理、测量标准误、共变量的计算
影响信度的因素
受试者因素(如受测者的身心健康状况、动机、注意力、持久性、作答态度等变动)
主试者因素(如非标准化的测验程序、主试者的偏颇与暗示、评分的主观性等等)
测验情境因素(测验环境条件如通风、光线、声音、桌面、空间因素等皆有影响的作用)
测验内容因素(试题取样不当、内部一致性低、题数过少)
时间因素
第二节
第9页/共21页
第十五章测验发展与信效度
10/22
效度(validity)
效度的意义
测量的正确性,指测验或其他测量工具确能测得其所欲测量的特质或功能之程度
测量的效度愈高,表示测量的结果愈能显现其所欲测量对象的真正特征
测验的效度通