第3节：测量的信度、效度与项目分析
第1单元：信度分析
一、学习目标
掌握信度的类型及估计方法
掌握信度与测验分数的解释
二、操作步骤
（一）信度的估计方法
1、重测信度
2、复本信度
3、内部一致性信度
4、评分者信度
（二）信度与测验分数的解释
1、解释真实分数与实得分数的相关
2、确定信度可以接受的水平
3、解释个人分数的意义
4、比较不同测验分数的差异
三、相关知识
（一）信度的估计方法
信度是指同一被试者在不同时间内用同一测验（或用另一套相等的测验）重复测量，所得结果的一致程度。
1、重测信度
又称稳定性系数。它的计算方法是采用重测法，即使用同一测验，在同样条件下对同一组被试者前后施测两次测验，求两次得分间的相关系数。
2、复本信度
它是以两个等值但题目不同的测验（复本）来测量同一群体，然后求得被试者在两个测验上得分的相关系数，这个相关系数就代表了复本信度的高低。复本信度反映的是测验在内容上的等值性，故又称等值性系数。
3、内部一致性信度
（1）分半信度（split-halfreliability）
这种方法估计信度系数只需一种测验形式，实施一次测验。通常是在测验实施后将测验按奇、偶数分为等值的两半，并分别计算每位被试在两半测验上的得分，求出这两半分数的相关系数。这个相关系数就代表了两半测验内容取样的一致程度，因而也称为内部一致性信度系数。
（2）同质性信度（homogeneityreliability）
同质性主要代表测验内部所有题目间的一致性。当各个测题的得分有较高的正相关时，不论题目的内容和形式如何，则测验为同质的。相反，即使所有题目看起来好象测量同一特质，但相关很低或为负相关时，则测验为异质的。
4、评分者信度
随机抽取若干份测验卷，由两位评分者按评分标准分别给分，然后再根据每份测验卷的两个分数计算相关，即得评分者信度。一般要求在成对的受过训练的评分者之间平均一致性达0.90以上，才认为评分是客观的。
（二）信度与测验分数的解释
1、解释真实分数与实得分数的相关
2、确定信度可以接受的水平
3、解释个人分数的意义
4、比较不同测验分数的差异
四、注意事项
（一）在计算重测信度时，最适宜的时距随测验的目的、性质和被试特点而异，一般是两周到四周较宜，间隔时间最好不超过六个月。
（二）在计算复本信度时，应该有半数的被试先作A本再作B本，另一半被试先作B本再作A本，由此可以抵消施测顺序的效应。另外，两个测验必须在项目的内容、形式、数量、难易、时限、指导语等方面相同或相似。
（三）斯皮尔曼-布朗公式为校正分半信度的经验公式，它的假设条件是两半测验分数的变异数相等，但实际资料有时未必完全符合这一条件。当假设不成立时，可采用弗朗那根（Flanagan）公式和卢伦（Kulon）公式之一，直接求得测验得信度系数。
（四）对于一些复杂的、异质的心理学变量，采用单一的同质性测验是不行的，因而常常采用若干个相对异质的分测验，并使每个分测验内容具有同质性，这样每个分测验就能用来预测异质效标的某一方面。
（五）信度常用信度系数来表示，信度系数就是相关系数，相关系数受样本是否异质及测验长度的影响。
第2单元：效度分析
一、学习目标
掌握效度的种类及其评估方法。
了解效度的意义。
二、操作步骤
（一）效度的估计方法
1、内容效度
2、构想效度
3、效标效度
（二）效度意义的确定
1、预测误差
2、预测效标分数
3、预测效率指数
三、相关知识
在心理测验中，效度是指所测量的与所要测量的心理特点之间符合的程度，或者简单地说是指一个心理测验的准确性。无论选用标准化测验或自行设计编制测量工具，必须首先签定其效度，没有效度资料的测验是不能选用的。
（一）效度的估计方法
1、内容效度
内容效度指的是测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测量的行为领域的代表性取样。由于这种测验的效度主要与测验内容有关，所以称内容效度。
（1）专家判断法
（2）统计分析法
（3）经验推测法
2、构想效度
是指测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何。
3、效标效度
效标效度又称实证效度，反映的是测验预测个体在某种情境下行为表现的有效性程度。被预测的行为是检验效度的标准，简称效标。由于这种效度是看测验对效标预测得如何，所以叫效标效度。这种效度需在实践中检验，所以又称实证效度。
效标效度有多种评估方法，下面介绍3种常用的方法：
（1）相关法
（2）区分法
（3）命中率法
（二）效度意义的确定
1、预测误差
2、预测效标分数
3、预测效率指数
（三）信度和效度的关系
1、信度是效度的必要而非充分条件
2、效度是受信度制约的
四、注意事项
（一）要求内容效度的测验，并不一定要求测验为同质的。
（二）在编制与选择测验时，与内容效度相联系的表面效度是一个必须考虑的特性。
（三）欲建立构想效度，必须先从某一构想的理论出发，提出关于某一心理特质的假设，然后设计和编制测验并进行施测，最后对测验的结果采用相关或因素分析等方法进行分析，验证与理论假设的符合程度。
（四）在检验一个测验的效标效度时，难点在于找到合适的效标。因此效标的选择至关重要，一个好的效标必须具备以下条件：
1、效标必须能最有效地反映测验的目标，即效标测量本身必须有效；
2、效标必须具有较高的信度，稳定可靠，不随时间等因素而变化；
3、效标可以客观地加以测量，可用数据或等级来表示；
4、效标测量的方法简单，省时省力，经济实用。
（五）测验取材的代表性、测验长度、试题类型、难度、区分度以及编排方式等都会影响效度。要保证测验具有较高效度，要注意以下几点：
1、测验材料必须对整个内容具有代表性；
2、测题设计时应尽量避免容易引起误差的题型（如是非题）；
3、测题难度要适中，具有较高的区分度；
4、测验长度要恰当，即要有一定的测题量；
5、测题的排列按先易后难顺序。
（六）效标与测验分数之间的关系是否线性关系也是需要注意的一个因素。
第3单元：项目分析
一、学习目标
掌握难度的计算及难度水平的确定
掌握项目区分度及其估计方法
二、操作步骤
（一）项目的难度
1、难度的计算
2、难度水平的确定
3、测验的难度
（二）项目的区分度
1、鉴别指数
2、相关法
三、相关知识
（一）项目的难度
难度（difficulty），顾名思义，是指项目的难易程度。在能力测验中通常需要一个反映难度水平的指标，在非能力测验（如人格测验）中，类似的指标是“通俗性”，即取自相同总体的样本中，能在答案方向上回答该题的人数，其计算方法与难度相同。
1、难度的计算
（1）二分法记分的项目
（2）非二分记分的项目
2、难度水平的确定
进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，取决于测验的目的、性质以及项目的形式。
3、测验的难度
测验的难度直接依赖于组成测验的项目的难度。通过考察测验分数的分布，可以对测验的难度做出直观检验。
（二）项目的区分度
项目区分度（itemdiscrimination），也叫鉴别力，是指测验项目对被试的心理特性的区分能力。如果一个项目，实际水平高的被试能顺利通过，而实际水平低的被试不能通过，那么我们就可以认为该项目有较高的区分度。
1、鉴别指数
此方法的主要步骤如下：
（1）按测验总分高低排列答卷；
（2）确定高分组与低分组，每一组取答卷总数的27%；
（3）分别计算高分组与低分组在该项目上的通过率或得分率；
（4）按下列公式估计出项目区分度：Ｄ=PH－PL；
式中，D为区分度，PH为高分组在该项目上的通过率或得分率，PL为低分组在该项目上的通过率或得分率。
2、相关法
计算区分度最常用的方法是相关法，即以某一项目分数与效标成绩或测验总分的相关作为该项目区分度的指标。相关越高，表明项目越具有区分的功能。
（1）点二列相关
点二列相关法适用于一类变量为二分称名变量，另一类变量为连续变量的成对变量的相关计算。用相关法计算出的相关系数值需要进行显著性检验，才能确定其意义。考验点二列相关是否显著与考验积差相关系数的显著性相同。
（2）二列相关
二列相关适用于两个连续变量，但其中一个变量被人为分成两类。当计算二列相关时，要求二分变量的分布在连续测量时必须是正态分布。
（3）Φ相关法
此种相关适用于两个变量均为二分称名变量。若将测验总分按及格、不及格或录取、淘汰划分，便可计算Φ相关系数。
（三）区分度与难度的关系
区分度与难度之间有密切的关系。一般来说，较难的项目对高水平的被试区分度高，较易的项目对水平低的被试区分度高，中等难度的项目对中等水平的被试区分度高。由于人的大多数心理特性呈常态分布，所以项目难度的分布也以常态分布为好，即特别难与特别易的项目少些，接近中等难度的项目多些，而所有项目的平均难度为0.50。这样不仅能保证多数项目具有较高的区分度，而且可以保证整个测验对被试具有较高的区分能力。
四、注意事项
考试大论坛 （一）为了使测验具有更大的区别力，应选择难度在0.50左右的试题比较合适。但是在实际工作中并非如此简单。如果难度都是0.50，则试题间的相关将有偏高趋势。所以在选择题目时，最好使试题的平均难度接近0.50，而各题难度在0.50～0.20之间。
（二）区分度取值范围介于-1至+1之间，假如项目得分与实际能力水平之间呈负相关，则区分度为负值；若呈正相关，则区分度为正值；相关系数越大，区分度越高。当区分度为负值时，则意味着被试实际能力越高，该项目的得分反而越低，这种情况一般很少发生，如果出现，该项目应该淘汰。
责任编辑：张瑶
您现在的位置： 