研究方法也會異世界轉生?

研究方法也會異世界轉生?

從 Difference-in-Differences 看計量方法的跨學科可能

有些研究方法,大概天生自帶「異世界轉生」體質,尤其是計量與量化分析的方法;經濟學會用數據與模型研究政策和市場,圖書資訊學也有自己的文獻計量與資訊計量傳統;到了資料科學、資訊系統或其他實證研究領域,我們同樣會看到研究者利用統計模型,處理比較、變化與效果判斷的問題。

這些領域不是在使用同一種「計量學」工具,但它們有一個很有意思的共同點:當研究問題開始變成「差多少、為什麼有差、這個改變究竟造成了什麼」,不同學科發展出的分析方法,就有可能彼此借用。

不過方法轉生,沒有「保留前世等級」這種福利。換一個研究場景,資料怎麼產生、誰能跟誰比、原本的假設還成不成立,都得重新檢查。否則看起來像把神技帶進新地圖,實際上可能只是把不適合的模型成功裝到另一份資料上。

Difference-in-Differences(DiD,差異中的差異法)就是一個很適合拿來看這件事的方法。它原本是經濟學實證研究中常見的因果推論方法,而 Callaway 與 Sant’Anna 的 Difference-in-Differences with Multiple Time Periods,又把問題往前推了一步:如果改變不是同時發生,而是有人先、有人後,我們到底該怎麼比較?

DiD 在問的,其實是一個很日常的問題

先不管公式,假設某項政策今年開始實施,實施前的數值是 70,之後變成 80。最直覺的說法大概是:「很好,政策效果 +10。」但事情通常沒有這麼乾脆;同一段時間裡,景氣可能變了、人口結構可能變了,甚至資料蒐集方式都可能改過。只把政策前後直接相減,我們其實不知道那個「+10」有多少真的應該算在政策頭上。

經典 DiD 因此多加一層比較:除了看接受處理的一組前後怎麼變,也看沒有接受處理的一組,在同一段時間怎麼變;如果沒有政策時,兩組原本的變化具有可比較性,那麼處理組額外多出來的變化,才比較有資格被解讀成處理效果。這也是 DiD 最核心的比較邏輯。

所以它真正逼研究者回答的,不只是「前後差多少」,而是:

我憑什麼相信,這兩組可以拿來比較?

麻煩的是,真實世界很少一起按下開始鍵

經典 DiD 的世界相對整齊:兩組、兩個時間點,一組接受處理,一組當作對照組;不過,現實世界可沒有那個好說話!政策可能分年上路,不同機構可能在不同時間加入方案。Callaway 與 Sant’Anna 關注的,就是這種多時間點,而且不同單位在不同時間接受處理的情況。更具體地說,他們處理的是交錯式採用(staggered adoption):一個單位一旦開始接受處理,之後就持續處於處理狀態。

原論文屬於經濟學研究,並以最低工資與青少年就業作為應用案例;但如果暫時把研究主題放到旁邊,只看問題的結構,就會發現這種情況未必只會出現在政策研究;例如,不同學校可能分批採用新的教學方案;不同資訊系統陸續上線某項功能;不同設備也可能在不同月份切換新的流程。

這些不是 Callaway 與 Sant’Anna 原文提出的應用案例,而是順著這套計量方法處理的問題結構,往其他研究場景延伸來看;領域不同,資料也不同,但問題很像:有人先改,有人晚一點改;而我們想知道,改變之後到底發生了什麼。這也是計量方法能夠跨學科旅行的原因之一:不同領域不一定共享同一套資料,卻可能共享相似的比較問題。

已經轉職的人,還能當新手對照嗎?

分批接受處理之後,另一個麻煩就出現了!假設 A 地區三月開始實施政策,B 地區五月才開始。到了五月,如果分析過程還把已經接受政策兩個月的 A,拿來作為剛開始接受政策的 B 的比較基準,這個「對照」就沒有表面上那麼單純。

這也是多期 DiD 特別需要小心的地方,在處理時間不同、處理效果又可能隨時間改變的情況下,常見的雙向固定效果模型(Two-Way Fixed Effects, TWFE)可能混合不同類型的比較,讓最後得到的係數不容易直接解讀成我們原本想知道的處理效果。Callaway 與 Sant’Anna 因此選擇先把不同群組、不同時間的效果拆開來看。

這裡可以簡單記住一個重點:模型給你一個數字,不代表那個數字剛好回答了你的研究問題。

先別急著抓平均:哪一批、哪個時間?

Callaway 與 Sant’Anna 的做法,有一個很值得借鏡的流程:

先不要急著把所有接受處理的單位揉成一個平均。

他們先按照「第一次接受處理的時間」分組,再觀察不同群組在不同時間的處理效果,也就是論文所說的 group-time average treatment effect,ATT(g,t);為什麼要這麼麻煩?因為效果不一定立刻出現,也不一定每一批都一樣。有些措施需要一段時間才開始發揮效果;有些可能剛開始最明顯,後面逐漸減弱;不同時間加入的群組,也可能有不同的結果。

所以研究者可以先看這些差異,再依照真正想回答的問題決定怎麼彙整。原論文也特別指出,不同的彙整( aggregation )方式可以用來觀察不同群組、接受處理時間長短或不同日曆時間下的效果變化,沒有一種彙整方式適合所有研究問題。

簡單說:先別急著問「平均有沒有效」,先看看是哪一批、什麼時候,以及效果有沒有改變。

方法可以轉生,但世界觀設定不能省略

看到這裡,可能會有人想:既然我的資料也是「有人先改、有人後改」,是不是就可以直接套 DiD?

沒有這麼方便,Callaway 與 Sant’Anna 處理的是特定的交錯式採用(staggered adoption)情境:不同單位在不同時間接受處理,而且一旦接受處理,之後持續維持處理狀態;更重要的還有 DiD 的核心條件之一:平行趨勢;它不是要求兩組的數值一模一樣,而是要求:如果沒有接受處理,兩組原本的結果變化必須具有可比較性。

問題就在於,「如果沒有接受處理,結果會怎麼變」本來就是我們看不到的反事實。因此,這個假設需要研究設計、處理前資料與研究背景來支持,不是只要手上剛好有兩組前後資料,就自動過關。

所以把一套方法帶進另一個學科之前,不能只問:「我的資料長得像不像?」

還要問:「這套方法原本成立的條件,在我的研究裡還站得住嗎?」

陪你做研究的最後

跨學科使用計量方法,最有意思的地方,不只是多學一個模型。以這篇 DiD 研究來說,它真正值得借走的,是一套把比較問清楚的方式:

誰跟誰比?什麼時候比?這個差異真的可以這樣解釋嗎?

從經濟學走到教育、資訊系統,甚至其他具有類似資料結構的研究場景,資料內容會變,方法成立的條件也得重新檢查,但這些問題並沒有因此消失。

這也回到文章一開始說的「轉生」:計量方法之所以有機會跨出原本的學科,不是因為一條公式到哪裡都有效,而是因為不同領域有時候會遇到結構相似的分析問題。

如果你也想看看一個研究主題正在和哪些學科發生交會,圖書館提供的 Research Horizon Navigator 可以作為探索入口。它透過 Interdisciplinarity 指標提供跨學科發展的線索,讓研究者從自己熟悉的領域出發,看看相近問題正在其他學科如何發展,有時候,跨學科不是急著換一套方法,而是先發現:原來別的領域,也在處理跟我很像的問題。

參考文獻

Callaway, B., & Sant’Anna, P. H. C. (2021). Difference-in-Differences with multiple time periods. Journal of Econometrics, 225(2), 200–230. https://doi.org/10.1016/j.jeconom.2020.12.001

推廣組 柯文仁/本文搭配 AI 工具進行寫作輔助