文档介绍：第十六章项目分析与信度估计1/16第十六章 项目分析与信度估计ItemAnalysisandReliabilityEstimation第十六章项目分析与信度估计2/16课程目标了解项目分析的目的了解项目分析的技术了解信度的概念与估计方法第十六章项目分析与信度估计3/16项目分析的目的确认量表题目的堪用程度测验的内容修改增减的依据测验题目的先期检验整体测量信效度的基础第十六章项目分析与信度估计4/16项目分析的方法质的分析着重于测验项目的内容与形式的适切性的讨论检验方法多为非计量的方式,例如专家评量、内容效度的评估等等量的分析利用各种计量模型与统计方法来检验量表题目优劣教育测验当中,测验的目的多在评估与诊断,因此重视项目难度与鉴别度检验其他用于测量受试者心理特质或态度的强度之心理测验(如人格测验与态度量表),因为题目的型态是连续型的变项,可以从各种量化的指标来检验项目的适切性。第十六章项目分析与信度估计5/16测验题目的基本特性项目难度(itemdifficulty)指一个测验的试题对于受测者的能力水平的反应能力。主要适用于能力测验或教育测验的项目评估,因为测验的题目是用来判定能力的强弱,每一个题目都有正确与否两种答案。项目难度提供测验项目如何安排的一个操作性原则与决策依据项目鉴别度(itemdiscrimination)反应测验题目能够正确测得受测特质的内容的程度,并能够鉴别个别差异的能力。项目鉴别度则反应测验项目的有效性,可以说个别测验题目的项目效度(itemvalidity)指标。第十六章项目分析与信度估计6/16项目难度的评估通过人数百分比(percentagepassing;p)越高的百分比(p值越大),表示题目越简单p=.7代表有百分之七十的受测者可以正确答对该题(通过)p=.2代表只有百分之二十的受测者可以正确答对该题,是一个比较简单的题目。,此时约有一半的受测者可以正确回答该题,有一半的受测者无法回答该题。整个测验的题目难度应保持相当之异质性,使测验得分具有适当的变异,以反应受测者的能力差异。猜中率的校正,使全量表的平均难度改变第十六章项目分析与信度估计7/16项目难度系数的特性P系数通过率的数值是一个顺序尺度不同的p值之间并不具有等距或比率的关系△(delta)难度系数△=13+4Z△为标准分数,分数介于1-25,mean=13△越大,难度越高,答对的人越少;越小,难度越低,答对的人越多。第十六章项目分析与信度估计8/16不同难度测验得分的分布情形p=.2p=.5p=.8第十六章项目分析与信度估计9/16项目鉴别度指一个题目能够正确的鉴别出受测者在某一个心理特质或行为倾向上的个别差异的程度特定效标比较:项目效度(itemvalidity)的考验相关性检验:测验项目间的一致程度(internalconsistency)第十六章项目分析与信度估计10/16项目效度的建立效标关连效度(criterion-relatedvalidation)适用于人格测验与态度测量等非认知测厌重点在于效标的选择实验操弄法比较有无接受特定训练指导下的受测者在每一个项目上的得分状况适用于认知与能力测验极端组比较法利用具有特殊属性的受测者在各题通过率的差异来判断极端组的决定:效标的决定内部效标法:分组标准来自内部变项外部效标法:分组标准来自外部变项