首页 > 编程知识 正文

检验问卷的信度和效度,问卷效度分析怎么做

时间:2023-05-05 20:32:22 阅读:150651 作者:1640

问卷调查法是教育研究中广泛采用的调查方法之一,基于调查目的设计的问卷是问卷调查法获取信息的工具,其质量的高低对调查结果的真实性、适用性等具有决定性作用。 为了保证问卷具有较高的信度和效度,在正式问卷形成前,先对问卷进行测试,对测试结果进行信度和效度分析,根据分析结果筛选问卷项目,调整问卷框架,使问卷得以实现信效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。

另一方面,信度、分析效度(Reliability )或信度是指用同一方法对同一对象重复测量所得结果的一致性。 信效度指标多用相关系数表示。 大致分为稳定系数(时间一致性)、等值系数(形式间一致性)、内在一致性系数(项目间一致性) 3种。

如果用信用度系数来表示信用度的大小。 信效度系数越大,表示测量的信度越高。 有多少信用度系数才能有较高的信用度? 学者devellis(1991 )认为最好不要为0.60~0.65 ) ); 0.65~0.70 (最小允许值; 0.70~0.80 (相当好); 0.80~0.90 (非常好。 因此,信度系数较好的量表或问卷期望为0.80以上、0.70至0.80之间的可接受程度; 分量表示优选可以允许在0.70以上、0.60到0.70之间。 分量表内部一致系数在0.60以下或总量表信效度系数在0.80以下的,应考虑重新评估量表或增删问题项目。

信效度分析的方法主要有以下四种

1、信度复测法采用同一问卷对同一组被试间隔一定时间重复实施,计算两次实施结果的相关系数。 显然,重新测量置信度是一个稳定系数。 信度复测法特别适用于事实式问卷,如性别、出生年月日等在两次实施中没有什么不同,大多数被调查者的兴趣、爱好、习惯等在短时间内也没有十分明显的变化。 在无突发事件且被调查者态度和意见发生突变的情况下,该方法也适用于态度和意见式问卷。 由于重测信度法需要对同一样本进行两次测试,受试者易受各种事件、活动、他人的影响,且间隔长短也存在一定的局限性,在实施中存在一定的困难。

2、复制信度法复制信度法是指让同一组被试一次填写两份问卷副本,计算两份副本的相关系数。 复制品可靠度是等价系数。 在拷贝信度法中,两个拷贝除表达模式不同外,在内容、格式、难度、相应问题项的提问方向等方面都必须完全一致,但在实际调查中问卷难以满足这样的要求,因此很少有人采用该方法。

3、半信度法半信度法将调查项目分成一半,计算一半得分的相关系数,估计量表总体信度。 信效度是内在的一致性系数,测量的是一半试题条目得分之间的一致性。 该方法一般不适用于事实式问卷,如年龄和性别无法比较,常用于态度、意见式问卷的信度分析。 问卷调查中,态度测量最常见的形式为五级李克特(Likert )量表。 在进行半信度分析时,如果量表中包含反义问题项,则首先逆向处理反义问题项的得分,确保各问题项得分方向的一致性,然后将所有问题项按奇偶校验或前后尽量分成相等的两半,计算两者的相关系数(rhh,即半量表的信度系数)

4、信度系数法Cronbach信度系数是目前最常用的信度系数,其公式如下

=(n/n-1 ) ) (1- (si2 )/ST2 ) ) ) ) ) ) ) )。

这里,n是尺度中问题项目的总数,Si2是第I问题的得分的问题内方差,ST2是所有问题项目的总分的方差。 从公式中可以看出,系数是评价尺度上各问题得分之间一致性的,是内在一致性系数。 该方法适用于态度、意见式问卷(量表)的信效度分析。

二、有效性分析的有效性(Validity )即有效性,是指需要测量工具或手段的测量物体能够准确测量的程度。 有效性有三种类型:“内容有效性”(Face Validity )、“标准有效性”(Criterion Validity )和“体系结构有效性”(Construct Validity )。 有效性分析有多种方法,其测定结果反映了有效性的不同侧面。 问卷有效性分析常用的方法主要有:

1、个别和总和相关性分析方法用于衡量量表内容的合理性。 内容有效性也称为表面有效性或逻辑有效性,是指设计的问题项目能否表示测量的内容或主题。 对于内容的有效性,多采用逻辑分析和统计分析相结合的方法进行评价。 逻辑分析一般是评价研究者或专家选择的项目是否符合测量的目的和要求。 统计分析主要采用单项和总和相关分析法获得评价结果。 也就是说,计算每个问题项目的得分和问题项目的总分之间的相关系数,根据相关是否显著来判断是否有效。 量表中如有相反的问题项目,应反过来处理后再计算总分。

2、基准有效性分析基准有效性又称有效性或预测有效性。 标准效度分析是在已确定的理论基础上,选择一个指标或测量工具作为标准(效度指标),分析问卷项目与标准的相关性,若两者相关性显著,或问卷项目对标准的不同取值、特性存在显著差异评价标准有效性的方法是相关分析或差异显著性检验。 在问卷的有效性分析中,往往难以选择合适的标准,这种方法的应用受到一定的限制。

3、结构效度分析结构效度是指测量结果中体现的结构与测量值的对应度。 体系结构的有效性分析采用了因子分析。 有学者认为效度分析最理想的方法是利用因子分析来衡量量表或整个问卷的结构效度。 因子分析的主要功能是从量表的全变量(问题项)中提取几个公共因子,各公共因子分别是

某一群特定变量高度关联,这些公因子即代表了量表的基本架构。透过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种架构。在因子分析的结果中,用于评价架构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度。为了提升调查问卷的质量,进而提升整个研究的价值,问卷的信度和效度分析绝非赘疣蛇足,而是研究过程中必不可少的重要环节。

Cronbachα系数

柯隆巴哈(Cronbach 1951)提出计算一个测量系统(问卷或测验)的信度称为Cronbachα系数(简称α系数),是目前社会科会研究最常使用的信度。当一个研究主题(或构面)由很多项目组合,每个问项都与主题相关,由总分的变异数与问项的变异数做为评量信度的指标即为α系数。

01. Cronbach α系数的定义

利用各问项变异数之和与整份量表分数的变异数的比值,可用来估计一份量表的信度,柯隆巴哈(Cronbach)提出α系数为:

此式为最常作为信度指标,其中s2i表示第i个问项xi的变异数,s2H 表所有问项总和(H= x1+x2+ ...+xn)的变异数(即整份测验分数的变异数),n是问项个数。

02. Cronbach α系数的实施技巧

要做信度分析需先检查每个问项是否都是同方向的(即都是正面问法,也就是题间的相关系数都是正的),如有一题与其它题相关系数都是负的,应考虑将此题先“变号”或“删除”后再进行计算α系数。如有受测者乱答,可将它的数据删除后再算α值。

对问卷调查当有题目与其它题目是负相关时须注意是否反向问法。如是,则应先将得分反向,再计算α信度或是删除该题。若为测验,则不能做反向处理,只能做删除题目。

03.标准化 Cronbach α系数的定义

若一份量表有n题,题间的平均相关系数为r,则此量表的标准化α系数为

04. 利用SPSS进行信度分析

在SPSS中,专门用来进行测验信度分析的模块为Scale下的Reliability Analysis;使用Data Reduction之下的Factor模块。

Reliability Analysis模块主要功能是检验测验的信度,主要用来检验折半信度、jpdqt及a系数以及Hoyt信度系数值。至于重测信度和复本信度,只需将样本在二次(份)测验的分数的数据合并到同一数据文件之后,利用Correlate之下的Bivariate求其相关系数,即为重测或复本信度;而评分者信度则使用的Spearman等级相关及Kendall和谐系数。

表1 Reliability Analysis模块的Model选项的参数术语关键词功 能

AlphaCronbach a系数

Split-half折半信度,n是第二份量表的题数

GuttmanGuttman最低下限真实信度法

Parallel各题目变异数同质时的最大概率(maximum-likelihood)信度

Strict parallel各题目平均数与变异数均同质时的最大概率信度

表2 Reliability Analysis模块的Statistics部分选项的参数术语关键词功 能

F testHoyt信度系数

Friedman ChiFriedman等级变异数分析及Kendall和谐系数

Cochran ChiCochran’s Q检验,适用于答案为二分(如是非题)的量表

Hotelling’s THotelling’s T2 检验

Tukey’sTukey的可加性检验

Intraclass量表内各题目平均数相关系数

建议进行因素分析之样本数宜大于330份。

论文:A first course in factor analysis

出处:New York: Academic Press, 1973.

作者:Comrey, A. L.

在因素分析前先以「KMO抽样适合性衡量」 (Kaiser Meyer Olkin)和「巴列特球型检定」(Bartlett’s Test of Sphericity) ,当KMO值愈大时,表示变项间的共同因素愈多,愈适合进行因素分析,根据学者Kaiser(1974)观点,如果KMO的值小于0.5时,较不宜进行因素分析

Kaiser, H. F. “An Index of Factorial Simplicity,” Psychometrika (39), 1974, pp. 31-36.

KMO是做主成分分析的效度检验指标之一,以前的文献中写说,KMO在0.9以上,非常适合做因子分析;在0.8-0.9之间,很适合;在0.7-0.8之间,适合;在0.6-0.7之间,gddpj;在0.5-0.6之间,表示很差;在0.5以下应该放弃.

量表题之处理

量表题的运用,通常是因为用一题无法完整测量某一个变量,因而需要使用数道题目来表示一个变量,然而这些题目真的能有效并一致地指涉同一个变项吗?这时我们便需要透过因素分析与信度分析来检视量表的信、效度。

因素分析

量表题组是否具有效度,这组题目是否测量同一面向(或同一因素),其能解释的变异量又有多高,便需要靠因素分析来检验。

1. 选择分析、数据缩减下之因子。

2. 将量表题组(请注意,只能同时放一组量表,如同侪关系量表,切勿将多组量表或所有的题目一起点选进去)点选至右边之窗格。

3. 按下描述性统计量,勾选KMO与Bartlett球形检定。

4. 萃取选择「主成分」分析,并选择「陡坡图」。

5. 至选项内勾选「依据因素负荷排序」。全都选完后,即可按下确定。

1. KMO与Bartlett检定,是在检定量表题组之间的相关。

(1)Bartlett:量表题组是用来测量一个变项,因此应具有一定的相关程度,当Bartlett检定达显著(显著性=.000),即表示此题组具有共同之因素(一或数个因素)。

(2)KMO:然而题组间的相关程度若太高,则会造成多重共线性的问题,也就是说相关程度特别高的题目,事实上就是同一题拆成数题,如此便不符合设计量表题的原意,也会造成重复解释、过度膨胀解释力的后果,因此接着要看KMO取样适切性量数,KMO必须要在0.6以上,KMO越接近1,表示量表题目间的相关情形良好,越适合进行因素分析。

2. 解说总变异量,在此会从题组中采用主成分分析法选择出数个成分,并指出成分中的数个题目共同解释的总变异量,通常以第一个成分之解释变异量最高,如自右图中所选出之第一个成分的题组,此一成分所能解释的变异量为46.53%,而本次研究法报告亦以选取第一个成分之题组即可。

3. 因素陡坡图,亦即解说总变异量中每一成分之总和的图示。如第1到第2成分间之落差特别大,则表示第1成分内有重要的因素,而第2至第3、第4...成分间之坡度十分平缓,表示第2~第6成份并未出现重要的因素,则不采用第2~第6成份之题目。

4. 从最后的成分矩阵中,SPSS只抽选出一个成分,以及每一道题目在此成分中的因素负荷量。因素负荷量越高,表示该题在此成分中的重要性越高若因素负荷量低于0.6,则此题(如V47.6_1)不被列入该成分中,因此,在做下一阶段的信度分析时,此题亦需被剔除。但下面仍将此题放入,看看该题信度分析之结果。

信度分析

具有信度(Reliability)的题目,必须具有稳定性、一致性与精确性。至于量表是由「题组」所构成,这些题目间的稳定性、一致性与精确性,就必须用信度分析来检测。

1. 自「分析」下的「量尺法」进入信度分析的对话框。

2. 将一组量表题(请注意,只能同时放一组量表,如同侪关系量表,切勿将多组量表或所有的题目一起点选进去)的题目自左边点选至右边的「项目」框内。

3. 按下「统计量」,进入另一个窗口,将左上角的描述性统计量对象的三个选项勾选起来。

4. 模式部分,请选取Alpha值(即α值),即可按确定,让SPSS自动执行信度分析。

1. 接下来出现的信度分析输出檔,首先可以看到最下面出现的Alpha值,α值越高,表示此组量表的信度越高,各题之间也具有更高的一致性。α值若低于0.6,则此量表信度太低,不宜采用。

2. 若α值低时,首先可以看Alpha if Item Deleted,这部分是指在这个量表题组中,若删掉V47.1_1题,则此量表的α值将由0.7314降到0.6733,删掉V47.6_1题(亦即作因素分析后,被剔除的无效的题目),则量表的α值会提升至0.7946;因此,此一量表题组便需删去V47.6_1题以提升信度,其它题目则要保留。若整体的α值都低于0.6时,此时只能藉由修改题目内容来提升其信度。

3. 在Corrected Item-Total Correlation的部分看到的是这些题目之间的相关程度,其相关系数越高,表示该题和其它题目间的一致性越高,像V47.6_1,和其它题目间的相关系数低,因此和其它题目较不一致。

总而言之,一组量表的信度(α值)不得低于0.5,若太低则可藉由删掉其中几题以提高α值。另外若此题组具有信度时,不一定需要删去某些题目来提高信度。若怎么试都无法提高量表信度,只有重新修改题目了。

/计算

量表做完信度分析的检测后,还不能马上进行统计分析。一组量表虽是由许多题目所构成,但这些题目所要测的其实是一个概念的各个面向,所以也要把这些题目组合成一个变量。其组合的方式如下所示:

1. 点选「转换」下的「计算」,进入计算变量的对话框。

2. 要组合的量表题,必须先给他一个新的变量名称,所以要在「目标变量」框中打上此新变量的名称。

3. 将要加总的量表题组一题题自左下的框中点选到右边「数值表达式」的框里,并且将每一题加起来后,除以总题数,再按下确定即可得到一新的变量(如下图四)。

量表题加起来后,不一定要除以总题数,除以总题数,得到的数据是所有题目的平均,没有除,看到的是受访者在此一大题所得到的总分,如此而已,看你喜欢用哪一个。

量表题加总时必须要注意的是,这些量表题目的方向必须一致,都是正向题或都是反向题,例如:很同意同意不同意很不同意

1.我有能力面对困难

2.如果碰到困难的事情必须解决,我通常选择放弃它

3.我尽量不去碰那些比较困难的事情

第2、3题都是同一个方向,在这两题所得到的分数越高,表示他越会去面对困难的事情,而第1题得到的分数越高,则越不会面对困难,因此,第1题和第2、3题间的方向是相反的,若直接将这三题加起来,则其分数会互相抵销。因此,在处理不同方向的问题时,必须先用「重新编码」的方式,让所有题目的方向都一致后,再进行加总的工作。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。