我國的高等教育不斷發展,自2016年6月正式加入《華盛頓協議》以來,我國工程教育專業認證工作不斷推進,通過認證的專業數量正在不斷增長,專業認證成為我國教育領域的一大重點。
現如今很多課程老師為了提高課堂效果,獲得更高的課程目標達成度,采用“項目式學習(project- based learning, PBL)”教學方法,以學生為中心,以真實項目或案例為主題,讓學生自主學習或小組討論,從而在學習過程中獲得自我能力的提升。
但PBL教學方法在實際應用中的效果并不理想,因為其中很多同學無法達到自主學習的狀態,教學中的作業任務并未自主完成而是借用其他同學的作業去交差,小組討論中也沒有發揮積極作用,但是其在最后考試中反而取得了不錯的成績,所以最后的成績所反映出來的效果不能真正地表達學生的實際能力。也就是說,有很多難以控制與觀測的混雜因子在同時影響著學生的項目式學習過程與最后的考試成績,項目式學習課程現狀因果圖如圖1所示。
圖1 項目式學習課程現狀因果圖
由此可見,在面臨難以控制與觀測的混雜因子時,需要解決兩個問題:①是否有清晰易懂的推理模型能夠為提出的諸多問題提供明確的答案,設計項目式學習的教學與考核,以改進混雜因子對學習和成果兩方面的影響;②是否有適應性強的計算公式能夠根據所掌握的數據回答因果問題,評價項目教學法對于學生學習成果的真實因果效應。
本文將因果推斷科學的前門調整法遷移應用到課程教學設計與質量評價中。一方面,在面臨無解的混雜因子時,教師運用因果圖,著手尋找不受混雜因子影響的中介變量,也就是新的教學或考核環節,在減少混雜因子影響的同時,能形成使用前門調整公式的條件;另一方面,運用前門調整公式作為教學方法對學生學習成果因果效應的被估量,利用課程觀測數據來估計真實的因果效應。
1.1 因果理論與因果圖
因果理論的發展與因果模型自1998年《科學》雜志刊登了一篇名為《大數據的處理程序》最早提出了“大數據(big data)”,短短數十年已發展成為一門重要的學科。現常用的因果模型通常指由朱迪亞·珀爾等于2000年左右提出基本概念,至今已經發展成為一門橫跨統計學與計算機學科的重大任務,其重點在于關于干預的建模與推理。Bernhard將其稱作新一代信息革命的燃料。其主要概念是將事物或者事件用節點進行表示,再用帶箭頭的線段來表示其因果關系。
圖2是為了嚴格處理因果關系問題而針對數據集所提出的一種結構因果模型(structural causal model, SCM)概念的圖形化因果模型關聯集。其給出的圖形定義為,如變量X是變量C的子變量,即有箭頭從C指向X,則稱C為X的直接因果原因,箭頭代表的是C到X的概率或者說是貢獻值,表示有C與無C時X出現的差值。
圖2 因果模型
圖2中,真正的因果效應X→Y與由叉接合X←C→Y誘導的X和Y之間的偽相關混合在一起,這里的C就叫混雜因子,若C作為不可觀測的混雜因子,影響X→Y的因果效應時,因果效應就無法通過條件期望計算,這時需要采用隨機試驗計算因果效應或者采用傳統統計學方法進行回歸分析。
但在工程教育領域中,采用隨機試驗分析課程目標達成度的方法無法使用,工程教育具有全員覆蓋性,隨機試驗不現實,同樣用回歸分析的方法計算因果效應的方法過于繁瑣,不便于在教育領域的推廣與應用。因果圖提供了一種將數據與因果信息相結合的可選語言,可使用后門調整法、前門調整法等直觀的方法解決因果推斷問題,這使因果圖非常適合在工程教育領域應用。
1.2 do算子與后門調整
因果學可以將認知能力分為三種層級:觀察能力(seeing)、行動能力(doing)和想象能力(imagining),其中第二層級的行動能力代表實施“干預”。“干預”就是控制一個變量,以影響其他變量,是判定因果關系的一個重要操作。如果控制一個變量,導致其他變量的概率分布,則可以說明前者是后者的因。通過干預可以確定多個變量間因果關系的存在性,這也是現如今很多科學方法常用的手段,例如控制變量法及隨機對照實驗等。
然而在很多情境下,實施干預去確定因果關系的成本及風險都難以估計,如前文所言,在具有全員覆蓋性的教育領域,實施干預的舉措就難以完成。這就使得在這些情境下,需要通過一些舉措觀測現有數據去預測干預的效果。
這里需要調用“do算子”來表達預測實施了干預的結果,do算子的引用是因果理論與傳統統計學最為顯著的區別。“do”代表了行動,可以表達因果關系第二層級的一個經典問題,即“如果我們實施了某種行動,這將會帶來何種結果?”,缺乏do算子的條件概率僅僅反映了因果關系第一層級的觀察所得到的結果。其中do(X)對于因果圖來說就是刪除指向X的所有箭頭。
例如圖2中,當混雜因子C可測量時,可以使用后門調整法計算X對Y的因果效應P(Y|do(X))。后門路徑可以定義為所有X和Y之間以指向X的箭頭為開始的路徑,如果可以阻斷所有的后門路徑,也就意味著完成了去混雜。控制C即可阻斷后門路徑,后門調整就是通過對去混變量集C的控制阻斷從X到Y的所有后門路徑;對于數學公式,此時,do(X)等同于see(X),P(Y|do(X),C)=P(Y|X,C),表達的意思是,在控制了一個充分的去混因子集C之后,留下的相關性,就是真正的因果效應。
由do算子運算可以推導出后門調整公式為
式(1)
此公式計算的是變量X對于變量Y的因果效應,其中變量C為變量X對變量Y因果效應中的混雜因子。通過公式,可以在C可觀測的情況下,直接通過數學計算得到X到Y的因果效應。
1.3 前門調整法
在C不可測量的情況下,已無法通過后門路徑簡化計算,此時可以選用前門調整法,在C不可測量的情況下去除混雜,從而計算X到Y的因果效應。
如果一個變量集合M滿足以下條件:M切斷了所有X到Y的有向路徑;X到M沒有后門路徑;所有M到Y的后門路徑都被X阻斷,則稱變量集合M滿足有序變量(X, Y)的前門準則。也就是說,當計算因果效應時發現X對Y的因果效應被一組變量C混雜,又被另一組變量M介導,且變量M不受變量C的影響,便能知道這里可以利用前門調整法從觀測數據中估計X對Y的因果效應。當意識到這點之后,在面臨無解的混雜因子時,首先應想到尋找不受混雜因子影響的中介變量。
加入中介變量的因果模型如圖3所示,此模型滿足前門調整法的使用條件,所以X到Y的因果效應P(Y|do(X))可以使用前門調整公式表達為
式(2)
此公式計算的是變量X對于變量Y的因果效應,其中變量M是變量X對變量Y因果效應的中介變量。
圖3 加入中介變量的因果模型
2.1 因果模型搭建
回到圖1的因果圖所展示出的問題,因為混雜原因無法真實找到項目教學法對于學生學習效果的因果效應,所以本文目的即是去除影響兩個變量的混雜因子。現如今的評價方式大多使用考試成績作為反映學生能力的具體體現,將考試成績作為課程目標達成情況的考察標準,但是考試成績可由多種途徑提高,例如老師考前劃重點、學生考前刷真題等,這類因素可以使一些實際能力未能達標的同學由考試成績的數值反映為達標。
若想要知道項目式學習本身對學生學習效果的因果效應,則需主要研究P(考試成績|do(項目式學習)),現在教育常規評價的是P(考試成績|項目式學習),這種條件概率公式表示學習產出達成的概率(P)是以觀察到學生參加了實驗為條件的。注意P(考試成績|項目式學習)與P(考試成績|do(項目式學習))完全不同,觀察到(seeing)和進行干預(doing)有本質的區別,兩者的混淆成為高等教育評價社會失信之源。完全由P(考試成績|項目式學習)統治的高等教育評價是荒誕的。
因此,本文使用因果推斷的方法計算課程目標達成度,即計算項目式學習對于考試成績的因果效應,需要排除影響項目式學習與考試成績間因果效應的混雜因子。現將“學生作業抄襲”“學生在小組討論中劃水”“學生考前刷真題”“作弊”等因素歸類為“惰性”,作為項目式學習對于考試成績因果效應中的混雜因子。
然而“惰性”大多為學生自身主觀的消極因素,無法觀測,無法使用后門調整法去除混雜。由朱迪亞·珀爾的前門調整法可知,在面臨無解的混雜因子時,應立即著手尋找不受混雜因子影響的中介變量,從而使用前門調整法從觀測數據中估計X對Y的影響。
對于項目式學習與課程目標達成情況的中介變量,本文選用“成果展示”。“成果展示”指的是學生在完成自己以項目為基礎的作業后,在課堂上進行展示并由其他學生進行投票打分。以“成果展示”作為項目式學習到課程目標達成情況的中介變量,是因為現在大多數的老師意識到以面向成果導向的工程教育專業認證注重的是以解決實際問題為目標的學生能力,而不是傳統的以考察學生知識點掌握能力為終極目標的分數教育,由此,需要一個過程性評價。所以這里要求學生在課堂上展示自己所完成的以項目為基礎的作業。
某校信息安全課程因果模型如圖4所示,在這里,X代表項目式學習,Y代表課程目標達成情況,C代表混雜因子惰性,M代表成果展示。
圖4 某校信息安全課程因果模型
2.2 基于前門調整法的模型分析
觀察圖4可以知道,因為未采取任何措施,惰性同樣影響著學生的成果展示成績,即混雜因子C影響了中介變量M,所以C有指向M的箭頭,這導致混雜因子無法在引入中介變量后得到有效的控制和去除。
所以如果要使用前門調整法,就必須屏蔽混雜因子對于成果展示的影響,取消掉C到M的箭頭。課程可以在大綱中明確要求學生每人至少參加一次以項目為基礎的成果展示,將不參加成果展示則不能參與期末考試作為硬性要求,因為項目式學習作業次數多,且難以每次嚴格管理,而成果展示每個人只有一次,可以做到嚴格管理成果展示這一環節且精確評分。
這些舉措就阻斷了惰性這一混雜因子對于過程評價即“成果展示”的影響,消除了因果圖中C指向M的箭頭。改進后的課程因果模型如圖5所示,這一舉措使中介變量“屏蔽”了混雜因子的影響,因此適合使用前門標準來分析項目式學習對于考試成績的因果效應。
圖5 改進后的課程因果模型
對于這樣的因果模型,可以發現公式中看不到C(惰性因子)的存在,這使此方法在未采集到任何數據的時候就成功地排除了混雜因子C。其次,因果推斷引擎作為一種問題處理機器,以“假設”為基礎,接收“問題”輸入,產生輸出“被估量”。
被估量可視作一種針對問題中目標量的計算方法。前門調整和后門調整公式就是兩個被估量。公式左邊代表提出問題“X對Y的影響是什么”,而公式右邊是被估量,即是回答左邊提出問題的一種方法,此被估量以條件概率的形式表示,不包含關于do算子的有關數據,也就是說與關于實際干預的數據無關,只包含觀測到的數據。這意味著它無需依賴隨機對照實驗,可以直接根據數據估計出來。
3.1 數據來源
本文選用某校2019級通信工程班信息安全課程101人成績,成績包括項目式學習的作業成績,學生以項目為基礎的成果展示的成績,以及考試成績。對于X:“0”“1”分別代表著學生項目式學習平時成績不合格和平時成績合格。對于M:“0”“1”“2”分別代表著學生在成果展示的成績中取得“不及格”“及格”與“優秀”。對于Y:“0”“1”“2”分別代表著學生在期末考試中取得“不及格”“及格”與“優秀”。
對于此課程的課程目標達成度分析,本文采用將P(Y≥1|do(X=1))的值大于70%視為課程目標達成度合格的方法。
3.2 數據處理
將101位同學的各項成績進行分類,在平時成績合格和不合格的情況下,成果展示成績取得“不及格”“及格”與“優秀”人數見表1。
表1(單位: 人)
由表1可以計算,在項目式學習平時成績不合格的同學中,成果展示環節成績不及格的概率為P(M=0|X=0)=57.69%,成績及格的概率為P(M=1|X=0)= 38.46%,成績優秀的概率為P(M=2|X=0)=3.85%;在項目式學習平時成績合格的同學中,成果展示環節成績不及格的概率為P(M=0|X=1)=13.33%,成績及格的概率為P(M=1|X=1)=57.33%,成績優秀的概率為P(M=2|X=1)=29.33%。
對已有數據進行進一步處理,得到在項目式學習平時成績兩個不同成績級別及成果展示環節三個不同成績級別的條件下,考試成績取得“不及格”“及格”與“優秀”人數見表2。
表2 (單位: 人)
將表2中數據代入后門調整公式可知,如果學生按照要求分別取得成果展示成績為“不及格”“及格”與“優秀”,那么他們在這種條件下,可能取得不同的考試成績級別的概率見表3。
表3 (單位: %)
最后由前門調整公式可知,如果學生按照要求參加項目式學習并且平時成績合格的話,那么學生在考試中取得成績的概率見表4。
表4 (單位: %)
在這里,數據中P(Y|do(X=0))可以表達為“如果學生未能按照要求完成項目式學習任務的話,那么其在考試成績中所能取得某種成績的概率為……”,同理,P(Y|do(X=1))可以表達為“如果學生按照要求完成項目式學習任務的話,那么其在考試成績中所能取得某種成績的概率為”。
從以上數據可以看出,學生如果按照要求完成項目式學習任務的話,那么在期末考試中及格的概率為P(Y=1|do(X=1))=64.92%,其在期末考試中獲得優秀的概率為P(Y=2|do(X=1))=18.81%。所以P(Y≥1|do(X=1))=83.73%。
現如今的國內課程目標達成度分析普遍使用平均分算分法、15%分位法等,類似方法太過于考慮數據而忽略了數據生成過程中的混雜因素。
去除與未去除混雜的課程目標達成度情況見表5,對比不使用因果推斷僅用條件概率算出的課程目標達成度情況P(Y=1|X=1)=65.33%,P(Y=2|X=1)= 25.33%,所得出的P(Y≥1|X=1)=90.66%,有明顯的區別。若按條件概率所得到的課程目標達成度計算,混雜原因會使課程目標達成度的值普遍較高,這可能讓一些實際并未合格的課程在未去除混雜的情況下也在條件概率的數據下顯示合格,這明顯不符合工程教育專業認證的目的,因此去除混雜計算課程目標達成度的因果推斷方法更符合工程教育專業認證的要求。
表5
由以上數據可得,P(Y≥1|do(X=1))=83.73%>70%,所以可以知道本課程的課程目標達成度合格。去除混雜后的數據直接反映了學生參加課程教學對于期末考試成績的因果效應,而去除“惰性”混雜因子后的考試成績可以反映出學生自身的學習成果產出,也就說明了此數據更能反映學生的課程目標達成度情況。
3.3 變量選取分析
本文中變量X本質為項目式學習這種教學方法,而度量一種教學方法主要是觀察學生自身的改變,通常可以選用參與度來度量教學方法。參與度的高低需要數值來進行區分,故本文選取平時成績的合格與否,賦值“1”“0”作為參與度高或低的區分。實際上依據課程的教學情況,可以對參與度有更多的檔次分層。
對于中介變量M,本文選用以項目為基礎的成果展示,在項目式學習中起到兩大關鍵作用:首先是對干預有預測作用,即在不進行隨機試驗的情況下也可以模擬隨機試驗的效果;第二,在教學大綱中加入成果展示環節,對學生在學習的投入有積極的促進作用。在不同的課程中可以根據實際教學情況有不同的選取方式,例如在需要進行實驗的課程中選取實驗作為中介變量,但要保證混雜因子對中介變量無影響,需對實驗的環境與評價方式進行一些設計,比如采用人工智能評價方法去評測結果。
在本文中,變量Y是采用學生的期末考試數據,但實際上項目式學習這種教學方式本身就產生了多元化的過程和考核結果,在不同課程的課程目標達成情況分析中,可以選取不同的考核數據,或是多次的考核結果數據,因為在本文圖1中,變量Y的選取并不影響變量X是變量Y的因,變量Y是變量X的果,同理,在圖5中,變量Y既是變量X的果,也是變量M的果,變量間的因果關系都不會因為Y的構成而發生變化。
本文引用了因果推斷方法中的do算子及后門標準、前門標準的概念,將之遷移到教育領域,提出構建基于前門調整法的“項目式學習”過程考核設計與課程質量評價方法,在工程教育具有全員覆蓋性、無法實施隨機對照試驗的前提下,采用基于觀測數據的自然實驗方法,有效去除數據關聯中的混雜影響,從而推斷出項目式學習對學生學習成果的真實因果效應。本文方法是結合教學實踐的有益探索,對專業認證實施有積極促進作用。
本文編自2022年第10期《電氣技術》,論文標題為“基于前門調整法的“項目式學習”過程考核設計與課程質量評價”,作者為錢辰、曠怡 等,本課題得到湖南省學位與研究生教育教改研究重大項目、湖南省新工科研究與實踐項目的支持。