美國:出題100萬架忌,測量學(xué)100萬
一棺妓、題目難度與區(qū)分度估計
1.1題目質(zhì)量評價概述
@題目質(zhì)量中的問題:
*計分方式在設(shè)計上有問題(0项栏、3彬伦,或0123)
*選擇題選項分布
*題目賦分或加權(quán)方式不當(dāng)
*分?jǐn)?shù)合成方式不當(dāng)
*題目貢獻度太邢颇ā(要么都會虐拓、要么都不會)
*題目難度的分布有缺陷
*數(shù)據(jù)有缺陷
1.2題目作答反應(yīng)分析
1.2.1 客觀題的CTT分析:隨不通能力學(xué)生段,選項選擇的分布變化渴丸。
中等水平的學(xué)生(平均分)正答率要高于50%侯嘀,TOP10%學(xué)生正答率最高——好題。
高水平正答率高谱轨,低水平正答率低
好題目的選項分布特點(選項分布分析):
1.2.2 主觀題的CTT分析
0-5戒幔,信度0、0.5土童、1诗茎、1.5...
1.3題目參數(shù)估計方法
1.3.1經(jīng)典測量理論
——題目區(qū)分度
CTT:
IRT
——題目難度()
1.3.2 客觀題的IRT分析
題目反應(yīng)理論模型
a斜率:區(qū)分度,b:難度献汗,c:猜測度
考試目的不同敢订,選擇題目不同
二、信度估計與效度證據(jù)收集
2.1信度效度的概念
①信度一致罢吃,效度不好(偏離-系統(tǒng)誤差造成)
④信度和效度都好
控制好系統(tǒng)誤差和隨機誤差
案例:重大考試的測量信度調(diào)查——張厚粲楚午、鄭日昌《教育研究》1985
試卷題目作答反應(yīng)分析——好試卷的題目反應(yīng)類型(天花板定多高,地板定多低)
2.2測量信度的估計(0.8以上)
計算(spss錯尿招,有前提條件)
2.2.1信度估計案例:alpha系數(shù)
2.2.2 信度估計案例:重測信度(前測矾柜、后測)
2.3效度證據(jù)的收集
————結(jié)構(gòu)效度的因素分析證據(jù)案例(要考哪些知識,是否真的有這些東西)
eg.實證效度舉例:WISC-IV(GT/MR)
2.4保障質(zhì)量的組卷建議
1.能力呈正態(tài)分布就谜,題目不能正態(tài)分布(均勻分布)
2.題目難度呈均勻分布
三怪蔑、分?jǐn)?shù)表達與使用的恰當(dāng)性
3.1原始分?jǐn)?shù)解讀
3.1.1 原始分?jǐn)?shù)的局限
*總分排序是不正確的
3.1.2 原始分總分不合理
(高考排序,數(shù)學(xué)Iゼ觥@掳辍!)
3.2 常模參照分?jǐn)?shù)
3.2.2 量表分?jǐn)?shù)的轉(zhuǎn)換前提
3.2.3量表分的應(yīng)用——曾經(jīng)的標(biāo)準(zhǔn)分制度
3.2.4 區(qū)分度太低導(dǎo)致的麻煩
3.內(nèi)容參照分?jǐn)?shù)
小結(jié)與建議
【小結(jié)】測量學(xué)三要求
【建議】