在進(jìn)行問(wèn)卷研究時(shí)嗅定,特別是問(wèn)卷中有非常多的量表題時(shí)转质,量表設(shè)計(jì)是否合適式塌,量表設(shè)置有效嗎怀愧?如同信度一樣框沟,這是非常重要的問(wèn)題翔怎。如果量表設(shè)計(jì)不合理舰褪,基于此量表的數(shù)據(jù)也會(huì)受到置疑则酝。
接下來(lái)闡述效度分析(上一篇文章闡述信度分析)絮缅,以及效度分析時(shí)的操作方法丁屎,如何解決出現(xiàn)的問(wèn)題等荠锭。本書(shū)中使用的較多內(nèi)容參考于“問(wèn)卷數(shù)據(jù)分析-破解SPSS的六類分析思路”一書(shū),以及使用網(wǎng)頁(yè)版本在線spss軟件spssau進(jìn)行操作說(shuō)明等晨川。
效度分析证九,簡(jiǎn)單來(lái)說(shuō)就是量表設(shè)計(jì)的有效性情況,其可分為三類共虑,分別是:內(nèi)容效度愧怜、結(jié)構(gòu)效度和效標(biāo)效度,建議研究人員使用內(nèi)容效度和結(jié)構(gòu)效度對(duì)問(wèn)卷進(jìn)行效度質(zhì)量衡量妈拌。
(1) 內(nèi)容效度拥坛。內(nèi)容效度是指問(wèn)卷題項(xiàng)對(duì)相關(guān)概念測(cè)量的適用性情況蓬蝶,簡(jiǎn)單來(lái)講即題項(xiàng)設(shè)計(jì)合理性情況。內(nèi)容效度可以從兩個(gè)方面進(jìn)行說(shuō)明猜惋,第一是專家判斷丸氛,專家具有權(quán)威性,因此專家對(duì)問(wèn)卷進(jìn)行判斷并得出肯定結(jié)論后也即說(shuō)明問(wèn)卷具有有效性著摔,此處專家是指行業(yè)內(nèi)專家缓窜,或者參考文獻(xiàn),也或者權(quán)威來(lái)源等谍咆。第二為問(wèn)卷前測(cè)結(jié)果禾锤,通過(guò)對(duì)問(wèn)卷前測(cè)并結(jié)合結(jié)果進(jìn)行題項(xiàng)的修正等工作以充分說(shuō)明問(wèn)卷的有效性。
在具體分析過(guò)程中摹察,內(nèi)容效度通常是指研究題項(xiàng)的設(shè)計(jì)是否具有參考文獻(xiàn)出處恩掷,是否有經(jīng)過(guò)老師(專家)的認(rèn)可,以及是否得到同專業(yè)相關(guān)人員比如同學(xué)的認(rèn)可等供嚎。以及研究人員是否對(duì)問(wèn)卷進(jìn)行修正工作黄娘,比如對(duì)問(wèn)卷進(jìn)行前測(cè)后發(fā)現(xiàn)問(wèn)題,并做出修正工作查坪。內(nèi)容效度是通過(guò)文字性進(jìn)行描述說(shuō)明寸宏,而并非統(tǒng)計(jì)軟件進(jìn)行的統(tǒng)計(jì)方法,對(duì)于問(wèn)卷研究來(lái)講偿曙,基本上均需要進(jìn)行內(nèi)容效度說(shuō)明。
(2) 結(jié)構(gòu)效度羔巢。結(jié)構(gòu)效度指測(cè)量題項(xiàng)與測(cè)量維度之間的對(duì)應(yīng)關(guān)系望忆,其測(cè)量方法有兩種,一種是探索性因子分析竿秆,另外一種是驗(yàn)證性因子分析启摄。探索性因子分析是當(dāng)前使用最為廣泛的結(jié)構(gòu)效度測(cè)量方法,此方法可以使用SPSS客戶端或者在線網(wǎng)頁(yè)版SPSS SPSSAU實(shí)現(xiàn)幽钢。使用探索性因子分析進(jìn)行效度驗(yàn)證時(shí)歉备,應(yīng)該以量表為準(zhǔn),對(duì)變量或者量表分別進(jìn)行分析匪燕。
使用探索性因子分析進(jìn)行效度驗(yàn)證時(shí)蕾羊,首先需要對(duì)KMO值進(jìn)行說(shuō)明(最為簡(jiǎn)單的效度驗(yàn)證是直接對(duì)每個(gè)變量進(jìn)行探索性因子分析,并且通過(guò)KMO值進(jìn)行判斷帽驯,勿需判斷題項(xiàng)與因子對(duì)應(yīng)關(guān)系情況等龟再,此種判斷方法過(guò)于簡(jiǎn)單,使用較少)尼变,KMO值指標(biāo)的常見(jiàn)標(biāo)準(zhǔn)是大于0.6利凑,接著具體說(shuō)明提取的因子數(shù)量,每個(gè)因子的方差解釋率,總共方差解釋率值哀澈,并且詳細(xì)描述各個(gè)題項(xiàng)與因子的對(duì)應(yīng)關(guān)系牌借,如果對(duì)應(yīng)關(guān)系與預(yù)期相符(專業(yè)知識(shí)預(yù)期一致),則說(shuō)明有著良好的結(jié)構(gòu)效度割按。使用探索性因子分析進(jìn)行效度驗(yàn)證時(shí)走哺,很可能會(huì)涉及題項(xiàng)刪除,刪除掉對(duì)應(yīng)關(guān)系與預(yù)期不一致的題項(xiàng)哲虾,或者刪除掉因子載荷系數(shù)值較低的題項(xiàng)等丙躏。
驗(yàn)證性因子分析則需要使用AMOS或者LISREL等結(jié)構(gòu)方程模型軟件進(jìn)行測(cè)量,其對(duì)問(wèn)卷量表質(zhì)量束凑,以及樣本量和樣本質(zhì)量均有著較高的要求晒旅,如果量表質(zhì)量并非特別高,以及樣本量較低(低于200)時(shí)汪诉,驗(yàn)證性因子分析進(jìn)行結(jié)構(gòu)效度測(cè)量很難達(dá)標(biāo)废恋,驗(yàn)證性因子分析不在本書(shū)討論范疇。
正常情況下扒寄,針對(duì)量表數(shù)據(jù)的效度分析鱼鼓,均需要使用探索性因子分析進(jìn)行效度的驗(yàn)證說(shuō)明,并且配合內(nèi)容效度進(jìn)行綜合分析该编。而驗(yàn)證性因子分析的使用迄本,相對(duì)會(huì)非常少。
(3) 效標(biāo)效度课竣。如果以前有一份權(quán)威且標(biāo)準(zhǔn)的量表數(shù)據(jù)嘉赎,現(xiàn)在依舊使用該量表進(jìn)行研究,并且收集回來(lái)一份數(shù)據(jù)于樟。以前權(quán)威標(biāo)準(zhǔn)數(shù)據(jù)作為標(biāo)準(zhǔn)公条,當(dāng)前數(shù)據(jù)與前一份數(shù)據(jù)之間進(jìn)行相關(guān)分析,如果說(shuō)相關(guān)系數(shù)值較高迂曲,則說(shuō)明效標(biāo)效度良好靶橱。效標(biāo)效度使用頻數(shù)非常低,通常會(huì)出現(xiàn)在中學(xué)考試量表研究中路捧,本文不詳述关霸。
關(guān)于效度分析的操作上,以網(wǎng)頁(yè)在線版本SPSS軟件SPSSAU為便鬓长,總共僅兩個(gè)步驟谒拴,將分析項(xiàng)拖拽到右側(cè),設(shè)置維度個(gè)數(shù)涉波,點(diǎn)擊開(kāi)始效度分析英上,即生成得到結(jié)果炭序。
· 拖拽分析項(xiàng)到右側(cè):如果量表有20個(gè)題則同時(shí)放入20個(gè)題;【切記一定是量表題目】
· 設(shè)置維度個(gè)數(shù):如果20個(gè)量表題對(duì)應(yīng)4個(gè)維度則設(shè)置為4苍日;【只有自己才知道應(yīng)該分為幾個(gè)維度】
點(diǎn)擊分析得到結(jié)果如下惭聂,包括表格和智能分析。
SPSSAU生成的結(jié)果為規(guī)范表格相恃,表格中包括有意義指標(biāo)比如:KMO值辜纲,巴特球形檢驗(yàn),特征根拦耐,方差解釋率值耕腾,累積方差解釋率值,因子載荷系數(shù)值杀糯,共同度值扫俺。接下來(lái)一 一闡述。
· KMO值:如果此值高于0.8固翰,則說(shuō)明效度高狼纬;如果此值介于0.7~0.8之間,則說(shuō)明效度較好骂际;如果此值介于0.6~0.7疗琉,則說(shuō)明效度可接受,如果此值小于0.6歉铝,說(shuō)明效度不佳
· 巴特球形檢驗(yàn):其對(duì)應(yīng)巴特球形值盈简,對(duì)應(yīng)P值一定需要小于0.05,這樣才能說(shuō)明通過(guò)巴特球形檢驗(yàn)
· 特征根:此值是判斷因子(維度)個(gè)數(shù)的標(biāo)準(zhǔn)的信息量犯戏,由于已經(jīng)設(shè)置好因子(維度)個(gè)數(shù)送火,因而此值意義較小可忽略;
· 方差解釋率值:代表各維度可解釋整體量表的信息量先匪;
· 累積方差解釋率值:所有維度可解釋整體量表的信息量;
· 因子載荷系數(shù)值:分析項(xiàng)與維度之間的相關(guān)關(guān)系情況弃衍;此值非常非常重要呀非,可用于判斷分析項(xiàng)與維度的對(duì)應(yīng)關(guān)系情況,下述會(huì)有說(shuō)明镜盯;
· 共同度值:分析項(xiàng)可以被提取出的信息量情況岸裙,比如為0.617,可以理解為該項(xiàng)有61.7%的信息可被最終提取出來(lái)速缆。
接下來(lái)進(jìn)行分析的詳細(xì)闡述降允,首先說(shuō)下SPSSAU默認(rèn)提供的智能文字分析:
SPSSAU中的智能分析只能對(duì)基本指標(biāo)的情況進(jìn)行分析,但需要特別注意的一點(diǎn)艺糜,效度分析最關(guān)鍵也是最實(shí)質(zhì)的分析點(diǎn)在于:分析項(xiàng)與因子(維度)的對(duì)應(yīng)關(guān)系情況剧董,如果對(duì)應(yīng)關(guān)系情況良好幢尚,一切都迎刃而解,如果對(duì)應(yīng)關(guān)系出現(xiàn)偏差翅楼,需要進(jìn)行題項(xiàng)刪除處理并且重復(fù)多次進(jìn)行分析尉剩。
關(guān)于分析項(xiàng)與因子(維度)的對(duì)應(yīng)有關(guān)系上,某分析項(xiàng) 對(duì)應(yīng)因子載荷系數(shù)值絕對(duì)值大于0.4時(shí)毅臊,則認(rèn)為該分析項(xiàng) 應(yīng)該屬于對(duì)應(yīng)的因子(維度)理茎;但會(huì)出現(xiàn)以下兩種情況的問(wèn)題:
1. 分析項(xiàng)與因子(維度)對(duì)應(yīng)關(guān)系出錯(cuò)
2. 分析項(xiàng)與多個(gè)因子(維度)建立對(duì)應(yīng)關(guān)系
此兩種情況是最為常見(jiàn)也是最麻煩的兩種問(wèn)題,在下面會(huì)逐一闡述
效度不達(dá)標(biāo)的情況有很多種管嬉,概括起來(lái)大概如下幾類:
1. KMO值或者沒(méi)有通過(guò)巴特球形檢驗(yàn)
2. 分析項(xiàng)與因子(維度)對(duì)應(yīng)關(guān)系出錯(cuò)
3. 分析項(xiàng)與多個(gè)因子(維度)建立對(duì)應(yīng)關(guān)系
4. 分析項(xiàng)沒(méi)有和任何因子(維度)建立對(duì)應(yīng)關(guān)系
5. 1個(gè)因子僅對(duì)應(yīng)1個(gè)分析項(xiàng)
6. 無(wú)論如何皂林,因子(維度)與分析項(xiàng)間的對(duì)應(yīng)關(guān)系情況,均與預(yù)期不符
上述五類情況的解決辦法逐一說(shuō)明如下:
· KMO值或者沒(méi)有通過(guò)巴特球形檢驗(yàn)
KMO值最容易達(dá)標(biāo)蚯撩,巴特球形檢驗(yàn)也非常容易達(dá)標(biāo)础倍。如果僅2個(gè)量表分析項(xiàng),那么KMO值一定為0.5求厕,因而不遵從0.6以上的判斷標(biāo)準(zhǔn)著隆。如果KMO和巴特球形檢驗(yàn)這兩項(xiàng)均不達(dá)標(biāo),建議直接放棄結(jié)構(gòu)效度呀癣,最基礎(chǔ)的指標(biāo)都不滿足美浦,實(shí)在太糟糕的數(shù)據(jù),直接使用內(nèi)容效度即可项栏。
· 分析項(xiàng)與因子(維度)對(duì)應(yīng)關(guān)系出錯(cuò)
對(duì)應(yīng)關(guān)系出錯(cuò)浦辨,這稱作‘張冠李戴’現(xiàn)象。出現(xiàn)這類情況沼沈,需要將對(duì)應(yīng)關(guān)系出錯(cuò)的分析項(xiàng)刪除掉流酬,然后再次進(jìn)行分析。而且一定需要盡早刪除列另,對(duì)應(yīng)關(guān)系出現(xiàn)偏差錯(cuò)誤是無(wú)法接受的芽腾。
· 分析項(xiàng)與多個(gè)因子(維度)建立對(duì)應(yīng)關(guān)系
一個(gè)分析項(xiàng)與多個(gè)因子(維度)有對(duì)應(yīng)關(guān)系,此類情況稱作‘糾纏不清’页衙,如果此類現(xiàn)象不嚴(yán)重摊滔,可考慮暫不處理,在多次分析刪除項(xiàng)后再看情況而定店乐。一般不處理‘糾纏不清’現(xiàn)象也可以接受艰躺。
· 分析項(xiàng)沒(méi)有和任何因子(維度)建立對(duì)應(yīng)關(guān)系
一個(gè)分析項(xiàng)與任何因子都沒(méi)有對(duì)應(yīng)關(guān)系,該分析項(xiàng)沒(méi)有任何存在的意義直接刪除后再次進(jìn)行分析眨八。
· 1個(gè)因子僅對(duì)應(yīng)1個(gè)分析項(xiàng)
如果1個(gè)因子僅對(duì)應(yīng)1項(xiàng)腺兴,這是比較糟糕的,正常情況下廉侧,1個(gè)因子(維度)應(yīng)該對(duì)應(yīng)至少2項(xiàng)页响,出現(xiàn)此類情況篓足,建議可直接將該項(xiàng)進(jìn)行刪除,然后在分析時(shí)描述說(shuō)明清楚拘泞。
· 無(wú)論如何纷纫,因子(維度)與分析項(xiàng)間的對(duì)應(yīng)關(guān)系情況,均與預(yù)期不符
有時(shí)候無(wú)論如何處理陪腌,分析項(xiàng)與因子(維度)對(duì)應(yīng)關(guān)系均有問(wèn)題辱魁,出現(xiàn)此類問(wèn)題時(shí),依舊是由于量表質(zhì)量差所致诗鸭,也有可能是樣本量太少的緣故染簇。可考慮將量表拆分成多個(gè)維度强岸,分別進(jìn)行多次因子分析锻弓,每次設(shè)置因子個(gè)數(shù)為1。
在進(jìn)行效度分析時(shí)蝌箍,如果說(shuō)確實(shí)是量表且有參考依據(jù)青灼,而且數(shù)據(jù)真實(shí)。但有兩種情況是需要提前注意:
1. 不知道量表數(shù)據(jù)才能進(jìn)行效度分析妓盲。這種情況最糟糕后續(xù)是無(wú)法進(jìn)行分析的杂拨。
2. 量表數(shù)據(jù)自己亂設(shè)計(jì),量表是相對(duì)規(guī)范的一種測(cè)量題項(xiàng)悯衬,需要有較強(qiáng)的參考文獻(xiàn)弹沽,而且一個(gè)維度對(duì)應(yīng)的量表要來(lái)自于同一個(gè)參考出處。