最近写了篇小文章，贴在这里，敬请批评！
[摘要]
长期以来，由于经典测量理论的真分数模型以及假设存在不足，导致信度和效度的理论公式存在错误。本文在指出这种错误的基础上，分析了错误的原因，并提出了相对完善的公式，还介绍了相应的信度和效度估计的新方法。
[关键词] 信度 理论公式 纠正 估计
信度和效度是衡量测量质量的重要指标，也是人类测量活动中最为困难的研究内容。一直以来，经典测量理论中关于信度和效度的理论公式都是错误的；甚至发展到现代测量理论之后，关于信度或效度的理论基础还是以前错误的理论公式。因此，亟需纠正以前的错误。
一、真分数模型及其假设
经典测量的真分数模型来源于物理测量，这个模型首先是将观察分数进行分解：[1]
X = T +
E1 +
E2 (1)
式中X表示观察分数，T表示真分数，E1表示系统误差分数，E2表示随机误差分数。
方程(1)表明观察分数与真分数和误差分数之间的关系是线性的。这其实是真分数模型的第一个假设。注意这里并不是X一定大于T，因为误差分数可为正数也可为负数。
对方程(1)两边求方差，得出方程(2)：
σ2X = σ2T
+σ2E1 +σ2E2 + 2
rTE1σTσE1 + 2
rTE2σTσE2+ 2
rE1E2σE1σE2 (2)
真分数模型的另外一个假设是真分数与误差分数的相关为0，加上随机误差与系统误差的相关也为0，在此基础上得出方程(3)：
σ2X = σ2T
+σ2E1
+σ2E2 (3)
方程(3)表示观察分数的方差等于真分数的方差、系统误差的方差以及随机误差的方差之和。然而，问题就出在方程(3)上！由于真分数与误差分数的相关不一定为0，所以方程(3)并不一定成立。
实际上方程(2)有3种情况：
(1)
如果真分数与误差分数的相关为0，则公式(2)退化为(3)。此时观察分数的方差大于真分数的方差。
(2)
如果真分数与误差分数的相关为正相关，则观察分数的方差大于真分数的方差。
(3)
如果真分数与误差分数的相关为负相关，则观察分数的方差不一定大于真分数的方差。
从以上简单分析可以看出，经典测量理论的真分数模型以及假设均存在不足。正是在经典测量理论存在诸多局限的背景下，现代测量理论应运而生了。项目反应理论是现代测量理论的杰出代表。虽然项目反应理论对经典测量理论的很多不足作了改进，但仍然存在很多问题：首先，项目反应理论不是从重建概念体系开始，而是重在建立数学模型。对于其中的基本概念并没有明确的阐述，比如，什么是难度？区分度？信度？效度？虽然也有类似的表示，比如，b相当于难度，a相当于区分度，但基本上还是沿用的经典测量理论的概念体系，甚至连效度的概念就基本没有涉及。这也导致了很多混乱。再比如，使用Rasch
模型的前提是所有项目的区分度相同，暂且不说不可能，只说这里的区分度指的是什么？是经典测量理论里面的区分度还是另外的含义？而经典测量理论的区分度理论也是有问题的。其次，项目反应理论的基本假设也是很难满足的。比如，测量的单维性问题，不但很难满足，而且怎样检验单维性大家都没有取得一致的意见；甚至有的方法不管单维性的假设，殊不知，没有单维性的假设，推理过程进行不下去，根本不能运用此理论。[2]
也就是说，不管是经典测量理论还是在现代测量理论，始终都无法回避信度和效度的概念及计算公式等方面的问题。
二、信度理论公式的纠正
经典测量理论中信度的理论公式是建立在真分数模型及其基本假设之上的,其理论公式为：
r = (σ2T
+σ2E1)/σ2X (4)
此公式是错误的。错误的根本原因在于方程(3)可能会犯错误，也就是说，观察分数的方差不一定大于真分数的方差。因此，如果用公式(4)计算信度，可能会出现信度大于1的情况。
看个简单的例子。假设测验项目的难度偏大或偏小，那么观察分数相对会比较集中于高分段或低分段，此时观察分数的方差肯定小于真分数的方差(因为真分数是一个客观存在，所有考生真分数的方差也是一个常数，不会随着观察分数的改变而改变)，此时如果按照公式(4)计算信度，信度却大于1。而我们的经验告诉我们，测验偏难或偏易，测验的信度都不会很高。这就产生了矛盾！
这个错误其实早就被人发现，只不过没有引起足够重视，因为在项目反应理论中就明显知道潜在真分数与误差分数的相关不为0。为什么这个问题会被忽略呢？首先，信度的理论公式只是一个理论上的公式，在实际的测量过程中不可能用这个公式计算信度，因为真分数根本就不知道，所以不会发现真实的错误。其次，心理与教育测量自身的特点没有引起足够重视。经典测量的真分数模型是碧蓝的汉堡由自然科学的测量模型迁移过来的，在物理测量中自然这些基本假设是满足的，但迁移到心理与教育测量时，有些假设就不一定满足了。第三，可能也有人意识到这个问题，但感到问题比较复杂就没有过多地关注。因为，这里不仅说明信度的理论公式有问题，也说明效度的理论公式也是错误的。
其实，在项目反应理论中我们就知道真分数与误差分数的相关不一定为0，但我们又没有回过头来反思原来信度的理论公式。
那么，是不是这个错误的理论公式就无关紧要了呢？不是的！因为，很多对信度的进一步分析与估计都是使用的这个公式，由于前提的错误，导致一些所谓的估计信度的方法也是错误的。
我们只要把上述错误的公式稍作修改，就可以得出信度的正确公式。信度正确的理论公式为：
r = (σ2T +σ2E1
)/(σ2T +σ2E1
+σ2E2) (5)
即信度等于潜在真分数的方差与系统误差分数的方差之和除以潜在真分数的方差加上系统误差分数的方差再加上随机误差分数的方差。千万要注意的是，公式(5)的分母绝对不等于观察分数的方差！
从公式(5)中可以看出，如果误差分数的方差为0，则信度为1，达到最大值；如果误差分数的方差大于0，则信度小于1。一般情况下，信度都会小于1。再来看，如果测验题目偏难或偏易，误差分数均较大，此时误差分数的方差也变大，从而使信度变小。
别以为这个公式和原来的公式差别不大，要知道，在科学上往往失之毫厘，差之千里！
我们知道，在项目反应理论中，可以通过一定的方法来估计被试的真分数与误差分数，这样，也就可以计算真分数的方差以及误差分数的方差，那么用公式(5)就可以计算信度的估计值了。这样计算信度似乎较麻烦，但我们要知道，严格地说，是不能直接用观察分数去计算各类信度系数的。因此，这种估计信度的方法是比较科学、合理的。
三、效度理论公式的纠正
经典测量理论中效度的理论公式是：
r = σ2T
/σ2X (6)
公式(6)也是错误的。看两个简单的例子：(1)如果测验项目的难度偏大或偏小，实得分数都会相对集中，这时实得分数的方差肯定小于潜在真分数的方差。(2)如果一个测验是完全负区分，这时实得分数的方差和完全正区分的方差是一样的，用公式(6)计算效度的结果却是一样的，还是很高的效度；而完全负区分基本上是没有效度可言的。
前面我们证明了真分数模型中效度和信度的理论公式是错误的，错误的根本原因是真分数和误差分数的相关不一定为0，因此，实得分数的方差可能小于潜在真分数的方差，而导致效度大于1。
我们也只是把原来的公式稍微改一下，就可避免这种错误的出现。在此，我们提出效度的理论公式：
r = σ2T /(σ2T
+σ2E1
+σ2E2) (7)
这样定义的好处是不仅克服了原来公式可能出现的错误，还可以将现代测量理论和经典测量理论在一定程度上结合起来。比如，可以通过项目反应理论，估计被试的能力和误差分数，此时，假设系统误差的方差为0的话，由公式(7)
即可估计效度的最大值。
效度最大值的意义在于它是测量的必要条件，虽然它不是充分条件，但也是我们衡量测量质量的一个重要指标。也就是说，如果这个最大值都比较低的话，那么效度肯定就低了。
著名测量学家布里奇1984年在一篇论文中说道“尽管对测验效度的讨论已经历半个世纪，但很多世纪之初(指20世纪之初)的问题依然存在”。[3]现在我们借用这句话作为结语：尽管对测量信度和效度的讨论已经过了100年，但最初的问题依然存在。而本文提出的想法仅仅是对传统的信度和效度理论的初步改进，真正的重建之路仍很漫长！
参考文献:
[1] 微笑的银耳汤主编.教育测量与评价[M]. 广州：广东高等教育出版社，2006.3.
[2] 微笑的银耳汤，zxdbl. 教育与心理测量中效度理论的重建[J].华南师范大学学报(社会科学版)，2007(6).
[3] Burisch, M.(1984). Approaches to personality inventory
construction. American Psychologist, 39, 214-227.