本文是我參與公司數(shù)字素養(yǎng)評價模型產(chǎn)品（一款面向中小學校的數(shù)據(jù)產(chǎn)品）建設的過程中喂很，為了驗證我負責建構(gòu)的產(chǎn)品數(shù)據(jù)指標體系是否能夠?qū)嵤沂褂卯a(chǎn)品的埋點數(shù)據(jù)只做了本demo，作為匯報材料向產(chǎn)品業(yè)務線總監(jiān)進行匯報。
一辛孵、 確定數(shù)字化教學實施的觀測維度
數(shù)字化教學實施維度包括了”利用數(shù)字技術(shù)資源支撐教學活動組織與管理“、”利用數(shù)字技術(shù)資源優(yōu)化教學流程“和”利用數(shù)字技術(shù)資源開展個別化指導“三個二級指標喳资。通過對數(shù)字技術(shù)支撐教學的實際情況進行分析觉吭，我們將”利用數(shù)字技術(shù)資源支持教學活動組織與管理“的實際行為歸納成”課堂講授“、”師生互動“仆邓、”支持學生活動“和”課堂管理“四個方面鲜滩，將”利用數(shù)字技術(shù)資源優(yōu)化教學“歸納成”實時評測反饋“一個方面，將”利用數(shù)字技術(shù)資源開展個別化指導“歸納為”針對性指導“一個方面节值，并且將這些方面作為三級指標的名稱戏仓。進一步地嗅绸，我們將三級指標與“頻率”闹司、“多樣性”和“層次性”三個維度進行匹配剥懒，用以生成各個三級指標對應的觀測維度，詳見表1匿乃。通過行為的不同性質(zhì)桩皿，可以將埋點分為不同的類別，從而形成從不同側(cè)面衡量的多樣性或者層次性的維度幢炸。比如在師生互動方面泄隔，可以根據(jù)使用的互動活動本身的類型進行分類，從而用于計算“互動方式多樣性”宛徊，也可以使用互動活動所面向的對象的類別進行分類佛嬉，從而用于計算“互動范圍多樣性”逻澳，而這兩個維度的計算方法都是多樣性，區(qū)別僅在于對行為的分類方式暖呕。這一指標構(gòu)建的思路同樣適用于層次性斜做。
表1 指標和觀測維度的對應關(guān)系
| 二級指標 | 三級指標 | 觀測維度 |
|---|---|---|
| 利用數(shù)字技術(shù)資源支持教學活動組織與管理 | 課堂講授 | 1. 發(fā)生頻率 2.講授活動多樣性 |
| 利用數(shù)字技術(shù)資源支持教學活動組織與管理 | 師生互動 | 1.發(fā)生頻率 2.互動方式多樣性 3.互動范圍多樣性 4.互動反饋性 |
| 利用數(shù)字技術(shù)資源支持教學活動組織與管理 | 支持學生活動 | 1.發(fā)生頻率 2.學生活動多樣性 |
| 利用數(shù)字技術(shù)資源支持教學活動組織與管理 | 課堂管理 | 1.課堂管理發(fā)生頻率 2.管理活動多樣性 |
| 利用數(shù)字技術(shù)資源優(yōu)化教學流程 | 實時評測反饋 | 1.發(fā)生頻率 2.測評方式多樣性 |
| 利用數(shù)字技術(shù)資源開展個別化指導 | 針對性指導 | 1.發(fā)生頻率 2.指導方式多樣性 3.指導對象精準性 |
二、觀測維度和指標得分的計算方法
埋點數(shù)據(jù)能夠記錄的是教師操作數(shù)字化教育產(chǎn)品所產(chǎn)生的操作的記錄湾揽，瓤逼，記錄中包含了教師的身份信息（包括教師ID和對應的學校ID），埋點的標識信息（包括module ID和event ID）钝腺，以及操作發(fā)生的額時間抛姑，因此使用埋點數(shù)據(jù)來反映教師的數(shù)字素養(yǎng)時，可以通過計數(shù)艳狐，對教師在某段時間內(nèi)在埋點對應的功能點上操作的次數(shù)進行統(tǒng)計。
我們認為皿桑，根據(jù)埋點數(shù)據(jù)毫目，可以衍生出頻率、多樣性和層次性三個維度來對教師數(shù)字化應用的各個具體的指標進行刻畫诲侮。其中頻率反映的是教師在每次授課中進行某種教學行為的平均次數(shù)镀虐，多樣性是對教師采用的數(shù)字化應用的操作的類別的多樣程度的刻畫，層次性是指基于某種對數(shù)字化應用的操作難度的排序計算出的總體操作難度的水平高低沟绪。
頻率的計算方法如下：
表示的是一段時間內(nèi)（至少一個月）教師使用智課上課的總次數(shù)刮便；
表示的是某個教學活動在一段時間內(nèi)發(fā)生的總次數(shù)。
代表了不同活動的總數(shù)绽慈。
多樣性參考的是生物學中用來衡量物種多樣性的多樣性指數(shù)恨旱。我們選取了香農(nóng)指數(shù)多樣性的計算公式如下：
其中，某段時間內(nèi)教師發(fā)起某種教學活動的比率為某種教學活動的次數(shù)占教學活動總次數(shù)的比率坝疼，計算公式如下：
層次性的計算公式如下：
其中代表了不同層次的行為被賦予的等級搜贤，等級越高，數(shù)值越高钝凶，并且滿足
仪芒，且
，而
代表了某等級的行為發(fā)生次數(shù)在所有行為發(fā)生次數(shù)中的總比率耕陷，其計算公式為：
層次性數(shù)值的特點是掂名，其最大值對應著最高等級數(shù)，會受到最高等級數(shù)的制約哟沫。
在獲得了某個三級指標所包含的頻率饺蔑、多樣性或?qū)哟涡缘闹笜酥抵螅覀兿喈斢讷@得了三級指標在三個獨立的維度上的值南用。設一個三級指標存在著（
）個不同的維度膀钠，對于該三級指標掏湾，存在著一個向量
，我們可以使用范數(shù)來計算該向量的長度肿嘲，作為三級指標的大小融击。
范數(shù)的計算公式如下：
其中為實數(shù)，大于或等于1雳窟。比較常用的是歐幾里得范數(shù)尊浪，即
時的范數(shù)，公式如下：
總之封救，只要一批教師的數(shù)據(jù)是基于同樣的埋點數(shù)據(jù)拇涤，按照同樣的埋點與三級指標的對應關(guān)系、同樣的多樣性的分類方式誉结，以及同樣的層次性的賦分方式進行組織的鹅士，則按照上述計算方式得出的教師數(shù)字素養(yǎng)應用能力的分數(shù)在這一批教師中是可比的。
三惩坑、 處理數(shù)字化教學實施相關(guān)埋點數(shù)據(jù)
根據(jù)形成的三級指標掉盅，我們對智慧課堂產(chǎn)品中的埋點進行了梳理，將埋點與三級維度進行對應以舒，最終梳理出了智慧課堂的PC端和安卓端共83個埋點趾痘，并將相關(guān)的信息整理成了清單，用于方便從數(shù)據(jù)庫中查詢數(shù)據(jù)蔓钟。為了形成教學實施模塊的demo永票，我們選取了青島西海岸新區(qū)使用情況最好的珠江路小學的教師在2022年-2023年秋季學期的埋點數(shù)據(jù)，計算教師在數(shù)字化教學實施方面的應用行為的得分情況滥沫。
在獲取數(shù)據(jù)的過程中發(fā)現(xiàn)侣集，智慧課堂安卓端的數(shù)據(jù)無法獲取，可能的原因是安卓端數(shù)據(jù)是冷備份表佣谐，不常用的埋點沒有數(shù)據(jù)肚吏，也可能是智慧課堂提供的埋點的Module ID和Event ID不對∠粱辏總之罚攀，在去掉了安卓端的埋點和一些沒有數(shù)據(jù)的埋點，以及與學科關(guān)系緊密的埋點（如語音測評在這種常用在英語和語文課堂的功能到的埋點）之后雌澄，剩下20個埋點存在數(shù)據(jù)斋泄。同時我們還獲取了珠江路小學教師在2022年-2023年秋季學期的授課次數(shù)，并將授課次數(shù)記錄的教師名單和埋點數(shù)據(jù)記錄的教師名單進行關(guān)聯(lián)镐牺，保留了既有授課次數(shù)記錄也有埋點數(shù)據(jù)記錄的教師炫掐，同136人。
實際獲取到的埋點數(shù)據(jù)僅涵蓋了課堂講授和師生互動兩個三級指標〔墙В現(xiàn)有的課堂講授相關(guān)的埋點可以分為“基于資源的講授”募胃、“基于工具的講授”旗唁、“基于數(shù)據(jù)報告的講授”和“其他”四個類別，共12個埋點痹束。師生互動的埋點按照互動方式可以分成“點評式互動”检疫、“討論式互動”、”作答式互動“祷嘶、”表揚式互動“和“其他”五個類別屎媳，按照互動范圍的多樣性可以分為教師”與個人的互動“、”與小組的互動“和”與全體的互動“论巍，按照互動的反饋性可以分為”無反饋互動“烛谊、”結(jié)果反饋型互動“和”過程反饋型互動“〖翁總之丹禀，我們結(jié)合頻率和多樣性，能夠形成關(guān)于課堂講授的兩個維度（講授活動發(fā)生的頻率和講授活動多樣性）鞋怀，從頻率湃崩、多樣性和層次性三個維度出發(fā)，能夠形成關(guān)于師生互動的四個指標（互動發(fā)生頻率接箫、互動方式多樣性、互動范圍多樣性和互動反饋性）朵诫。
四辛友、計算結(jié)果
（一）根據(jù)多樣性或?qū)哟涡詫β顸c分類與賦權(quán)
我們首先按照計算各維度的需要，分別對課堂講授和師生互動相關(guān)的埋點進行了多種形式的分類剪返，每種分類用于計算不同的多樣性或者層次性相關(guān)指標废累，具體的分類情況見表2。在“分類方式”一列中脱盲，我們用“ModuleID_EventID”的方式來表示埋點邑滨，并將同一類別的埋點放在其所對應的類別之后。講授互動多樣性钱反、互動方式多樣性和互動范圍多樣性的計算使用的是多樣性的計算公式掖看，而互動反饋性的計算使用的是層次性計算公式。在計算互動反饋性時面哥，“無反饋互動”對應的賦分為1哎壳，“結(jié)果型反饋互動”對應的賦分為2，“過程型反饋互動”對應的賦分為3尚卫。據(jù)此归榕，我們可以分別計算出每個教師不同類別行為發(fā)生的次數(shù)，并進一步計算出所有相關(guān)維度分數(shù)吱涉。
表2 用于計算多樣性或?qū)哟涡詫β顸c分類結(jié)果
（二）指標與觀測維度的正交關(guān)系驗證
我們構(gòu)建的教師數(shù)字化應用能力測量模型的基本思路是將頻率刹泄、多樣性和層次性外里，以及它們構(gòu)成的指標作為相互垂直的向量，從而通過計算向量大小的方式計算出指標和觀測維度的分數(shù)特石。因此盅蝗，為了驗證觀測維度之間以及指標之間是否滿足正交性，我們需要驗證以下假設：
- 如果教師的某三級指標對應的發(fā)生頻率不為0县匠，則教師在該三級指標下的頻率风科、多樣性和層次性的得分不存在顯著的相關(guān)性；
- 只要教師在任意兩個三級指標上的得分有一個不為0乞旦，則教師在這兩個三級指標上的得分不存在顯著的相關(guān)性贼穆。
這兩個假設的成立，保證了三級指標下的各個維度的獨立性和三級維度之間的獨立性兰粉，進而保證了我們可以將它們看成相互垂直的向量故痊，并根據(jù)范數(shù)計算出其合成向量的大小。需要注意到此處的前提條件是三級指標對應的頻率不為0玖姑，因為當頻率為0的時候愕秫，其多樣性或頻率也必然為0，在此情況下討論觀測維度或者指標的相關(guān)性沒有實際意義焰络。
我們剔除了互動發(fā)生頻率和講授發(fā)生頻率為0的教師數(shù)據(jù)戴甩，使用余下的51個非0的教師數(shù)據(jù)驗證上述假設。如圖2所示闪彼，我們生成了指標與觀測維度的積差相關(guān)系數(shù)矩陣圖甜孤，記錄了教師的指標與觀測維度得分兩兩之間的積差相關(guān)系數(shù)。
圖2 數(shù)字化教學實施相關(guān)指標與維度的相關(guān)系數(shù)
可以看到畏腕，三級指標“課堂講授”下的“講授活動發(fā)生的頻率”和“講授活動多樣性”之間的積差相關(guān)系數(shù)為0.2缴川；三級指標“師生互動”下的“互動發(fā)生頻率”和“互動方式多樣性”、“互動范圍多樣性”以及“互動反饋性”之間的相關(guān)系數(shù)分別為-0.014描馅、-0.026和-0.16把夸，“互動方式多樣性”和“互動范圍多樣性”以及“互動反饋性”之間的相關(guān)系數(shù)分別是0.45和0.28，“互動范圍多樣性”和“互動反饋性”的相關(guān)性為0.31铭污。所有三級指標下的觀測維度之間的相關(guān)系數(shù)的絕對值均低于0.5恋日，基本上意味著觀測維度之間的相關(guān)性很弱或者沒有相關(guān)性，這一結(jié)果支持了假設1况凉。同樣可以看到谚鄙，三級指標“課堂講授”與“師生互動”之間的相關(guān)系數(shù)為-0.15（低于0.5），基本上意味著三級指標之間的相關(guān)性很弱或者沒有相關(guān)性刁绒，這一結(jié)果支持了假設2闷营。
綜上所述，雖然我們可以看到，并不是上述所有的相關(guān)系數(shù)都接近于零傻盟，但是所有的相關(guān)系數(shù)都較小速蕊，確實反映了頻率、多樣性和層次性之間的正交關(guān)系娘赴。以“課堂講授”和“師生互動”的散點圖為例规哲，如圖3所示，我們很難從這樣的散點圖中發(fā)現(xiàn)兩個得分存在著某種趨勢诽表，點的分布比較松散唉锌。
（三）指標與觀測維度的計算結(jié)果
表3是我們計算出的課堂講授和師生互動相關(guān)維度的描述性統(tǒng)計結(jié)果。其中竿奏，“課堂講授得分”計算的是通過歐幾里得范數(shù)計算的“講授活動發(fā)生的頻率”和“講授活動多樣性”構(gòu)成的向量的大小袄简，用來代表教師在課堂講授方面的數(shù)字素養(yǎng)應用能力的綜合得分，“師生互動得分”也是通過歐幾里得范數(shù)計算的“互動發(fā)生頻率”泛啸、“互動方式多樣性”绿语、“互動范圍多樣性”和“互動反饋性”構(gòu)成的向量的大小，用來表示教師在師生互動方面的數(shù)字素養(yǎng)應用能力的綜合得分候址÷来猓“課堂組織與管理得分”是通過歐幾里得范數(shù)計算的“課堂講授得分”和“師生互動得分”構(gòu)成的向量的大小，用來表示教師在課堂組織與管理方面的綜合得分岗仑。本demo之所以僅使用“課堂講授”和“師生互動”兩個三級指標計算二級指標“課堂組織與管理”匹耕，是因為未獲取到“支持學生活動”和“課堂管理”相關(guān)的數(shù)據(jù)，所以在計算時默認為0荠雕，同樣因為沒有獲取到三級指標“實時測評反饋”和“針對性指導”的相關(guān)數(shù)據(jù)泌神，所以在計算時默認為0，帶入到范數(shù)公式時0值并不會對數(shù)值造成影響舞虱。
表3 課堂講授和師生互動相關(guān)維度的描述性統(tǒng)計
所有維度或指標的最小值是0，頻率為0表示的是教師在每堂課上幾乎不進行相關(guān)活動母市；多樣性為0意味著沒有進行任何活動矾兜，或進行的活動僅有一種類型，即行為是確定的患久；層次性為0意味著沒有進行任何活動椅寺，只要其進行了任何活動，教師在層次性上的得分就不會低于1蒋失。就最大值而言返帕，理論上頻率的最大值上不封頂，而理論上多樣性的最大值為
互動發(fā)生頻率偏竟、互動方式多樣性、互動范圍多樣性以及互動反饋性的中位數(shù)均為0敞峭，可能意味著絕大多數(shù)的教師未使用數(shù)字化工具進行師生互動踊谋。通過查看數(shù)據(jù)可發(fā)現(xiàn)，有84位教師沒有進行任何互動操作旋讹。而教師進行講授活動的情況相對較高殖蚕，講授活動發(fā)生頻率的中位數(shù)為0.918，平均數(shù)為1.291沉迹，說明大部分教師還是能夠每次授課都進行講授活動的睦疫。所以相對而言，教師在教學中主要以開展講授為主胚股，互動為輔笼痛。
為了解教師們在各指數(shù)上的分布情況，我們繪制了全部指數(shù)和維度得分的直方圖琅拌，如圖3所示缨伊。可以看出进宝，所有的直方圖都呈現(xiàn)非正態(tài)分布刻坊，課堂講授相關(guān)的分數(shù)分布較為連續(xù)，而師生互動相關(guān)的分數(shù)較為分散党晋，且?guī)熒哟嬖诖罅康?值谭胚，這與前面的分析結(jié)果相吻合∥床＃總體而言灾而，任何維度或者指標上得分高的教師人數(shù)都較少，大部分教師的得分較低扳剿。
圖3 課堂講授和師生互動相關(guān)維度和指數(shù)得分的直方圖
我們計算出的課堂講授得分和師生互動得分也均呈現(xiàn)出左偏的趨勢旁趟，也就是說，能夠在頻率庇绽、多樣性或?qū)哟涡远鄠€方面都表現(xiàn)突出的教師比重較低锡搜，大多數(shù)教師數(shù)字化課堂講授和師生互動處于低頻率、低多樣性和低層次性的狀態(tài)瞧掺。
為了更清楚地了解教師在課堂講授和師生互動方面的數(shù)字化實踐情況耕餐，我們分別對不同類型的數(shù)字化課堂講授行為發(fā)生的次數(shù)以及不同類型的數(shù)字化師生互動行為發(fā)生的次數(shù)（詳見表4）進行了統(tǒng)計。在課堂講授行為中辟狈，發(fā)生較多的是“基于資源的講授”（平均值為108.132）和“基于工具的講授”（平均值為44.750）行為肠缔，發(fā)生次數(shù)較少的是“基于數(shù)據(jù)報告的講授“（平均值為2.603）和”其他“（平均值為0.206）行為，且至少75%的教師沒有進行”基于數(shù)據(jù)報告的講授“和”其他“行為，而教師進行”基于資源的講授“行為的數(shù)量的中位數(shù)在76.5桩砰，進行”基于工具的講授“行為的中位數(shù)為12拓春，說明大多數(shù)教師基于資源開展講授，其次是基于工具開展講授亚隅，幾乎很少基于數(shù)據(jù)報告或者其他方式進行講授硼莽。因此，教師可以通過適當增加基于工具的講授行為和基于數(shù)據(jù)報告的講授行為來提高自己講授方式的多樣性煮纵，從而提高課堂講授方面的數(shù)字素養(yǎng)應用能力懂鸵。
在師生互動行為中，四種互動方式發(fā)生次數(shù)的平均值最大的是“表揚式互動”行為（平均值為7.191）行疏，與之平均值相近的是“點評式互動”行為（平均值為7.118）匆光，“作答式互動”行為（平均值為1.397）和“討論式互動”行為（平均值為0.853）都較少。其次酿联，教師進行“與個人互動”行為（平均值為15.353）要比進行“與全體互動”行為（平均值3.934）更普遍终息，且?guī)缀醪贿M行“與小組互動”行為（平均值為0.007）。最后贞让，教師較多地進行“結(jié)果型反饋互動”（平均值為7.191）與“過程型反饋互動”周崭，互動反饋的整體表現(xiàn)較積極。教師可以通過更多地進行作答式互動和討論式互動來提高互動方式多樣性喳张，通過更多地進行與小組的互動和適當提高與全體的互動來提高互動范圍多樣性续镇，通過更多開展過程型反饋互動提高互動反饋性，進而提升師生互動方面的數(shù)字化應用能力销部。
表4 數(shù)字化師生互動行為發(fā)生次數(shù)的描述性統(tǒng)計
通過分析教師在各類行為發(fā)生次數(shù)的分布情況摸航，我們可以為提高教師的數(shù)字化教學實施的應用能力提供針對性的指導建議。同樣的分析思路不僅適用于教師群體舅桩，也適用于教師個體酱虎，不同的是在對教師個體分析的時候所觀察的統(tǒng)計值不再是平均值，而是教師一段時間的行為總次數(shù)擂涛。
五逢净、結(jié)論
通過以上分析，我們發(fā)現(xiàn)基于頻率歼指、多樣性和層次性的教師數(shù)字素養(yǎng)指標體系構(gòu)建思路，不僅可以生成相互獨立的觀測維度甥雕，為衡量同一三級指標下的不同方面的教師行為表現(xiàn)提供了豐富的信息踩身，同時能夠基于頻率、多樣性和層次性衍生出不同教學行為的相關(guān)觀測維度社露，使得這一方法貫穿不同的教學場景挟阻，讓整個評價模型具有擴展性。
