文：吳俊漢醫師
讓人擔心的是，目前多數已經發表的研究結果其實都是錯的。……對許多當前的科學領域來說，那些聲稱的「研究發現」，往往只是精確測量了當下的流行偏見罷了。
~~史丹福大學預防研究中心主任兼統計學榮譽教授Ioannidis。該語出自其2005年發表之研究，此一研究已被引述9700次，觀看此論文達近340萬人次。
前幾天在臉書提了英國國家經濟社會研究院委托樸茨茅斯大學的團隊設計的隨機對照實驗，說明對小學生進行成長型思維培訓，對學習效果基本上沒有效益，我們今天接續講，刊登在心理學研究頂級期刊《Psychological Bulletin》上，針對這個議題做的統合分析。
研究背景與研究法
「成長心態」在2006年被提出來後，就廣泛滲入各領域，減重事業、教育、企業組織、甚至連中東和平的規畫裡，都流行這套包裹著潛能開發的信仰，就像古希臘哲學家蘇格拉底說的「未經審視的生活是不值得過的」，未經審視過的大眾信念有效無效、有害無害，也應該被起碼檢視一番。從2006年以來，美國政府機構與私人基金會，如蓋茲基金會就已資助了數百萬美元的研究經費在分析「成長心態」的實證，然而，一直到2023年《Psychological Bulletin》的研究問世前，並沒有同時兼備系統性的高標準質與量雙重檢驗的實證研究，而且零星的研究，正如前言提到的英國隨機對照實驗，似乎也看不出多正面的效益。
美國兩所大學的團隊進行了對63 項研究、涵蓋 97,672 名學生的統合分析。不僅計算平均效應值，更設計了3個模型一層層過濾：
- 模型一： 納入所有研究。
- 模型二： 僅納入「心態確實有變化的組別」的研究
- 模型三： 僅納入符合 60% 以上最佳科學實踐標準（如隨機分配、雙盲等）的研究
微乎其微的效益
上圖從左到右，分別對應上面3個模型的分析，僅有全樣本的模型一還有微乎其微的效果量，也就 d=0.05，這至少藏了兩個意思：
- 介入組與對照組的成績分布有 98% 是重疊的
- 隨機從介入組抽一名學生，其表現優於對照組學生的機率僅為 51.4%
當我們聚焦到模型二時，這組選進來分析的都已經是「成長心態應該有改變學生心態」的，結果效果量更低 d=0.04，學業表現是沒有顯著提昇的；而來到模型三時，僅觀察6項設計最嚴謹的研究時，效果量已經掉到了 d=0.02，統計上完全是無效的。如果把年齡分層看，模型一與模型二裡的青少年的效果量都只有d=0.04，整套三個模型 X 不同年齡分層裡，唯一效果量比較高的是模型一裡的兒童組，d=0.09，但與對照組參照，效果仍舊是不顯著。作者最後的結語是這麼說的：當考量到出版偏誤與研究設計品質後，包含不同年齡在內的所有學生群體，其成長心態介入對學業成就的影響基本上是不存在的。
科學外衣下諷刺不堪的事
這研究還做了一個對學術研究圈來說，相當殘忍的分析：所有的學術研究發表，作者群理論上都有揭露是否受什麼公私單位的資金補助、自己任職的單位跟特定的醫藥、商業組織有無往來。而這篇研究的作者便去分析了這點：作者在有、或沒有經濟誘因，如受聘為販售課程公司的有給顧問、出版暢銷書、公開收費演講(演講費可以從1 萬至 5 萬美元)的作者的條件下，發表的研究會跟某些結果勾連嗎？
結果如上圖，相當地不堪，也發現了一些學術倫理與誠信的問題：
- 最右側深灰色長條： 代表「已發表且具經濟誘因」的研究。其效果量最高，來到0.18。
- 右二白色長條： 代表「已發表但無經濟誘因」的研究。長條在 0.00 線以下，底端位於 -0.10，與前一組的觀察截然相反
- 左一左二： 代表未發表的研究。無論有無誘因，其高度都極低（0.02 與 0.05），且「未發表且具經濟誘因」的結果是信賴區間跨越了 0.00 線，代表介入與對照組是沒有顯著差異的。
- 在已發表的論文中，作者群裡有經濟誘因者的平均效果量為 d=0.18（認為成長心態顯著有正向影響），而無誘因的效應值是負值 d=−0.10，有經濟誘因的作者，其研究報告呈現「統計上顯著」正面結果的機率是無動機者的 2.5 倍以上（56% vs. 21%），有經濟誘因的作者也較少發表較弱的效果，經濟誘因本身成為一位極顯著影響研究結果的變項，推動了對正面數據的選擇性出版。
- 在模型一裡，就已經發現有10%的論文，明明看不出「成長心態」的效益，但作者卻將無效效果討論得好像很顯著時，有極高的誤導力。
- 發表前的偏誤：有些研究在發表前排除了部分參與者，被移除的參與者人數高達 6,222 名學生，占了總樣本的一半。在發表前剔除資料並移除子樣本，會導致已發表文獻中對介入效果呈現偏頗的觀點。
- 刊登前的偏誤：作者在模型一裡對所有研究做了發表前後的校正，不支持成長心態假說的研究結果會遭到壓抑而未予發表。這種發表壓抑現象造成了現有證據的偏誤。
結語
- 在考量研究品質與偏誤後，成長心態訓練對各年齡段提升學業成績的實際貢獻幾乎為零
- 閱聽人、大眾在接受訊息時，必需分辨哪些是「科學發現」，哪些是「商品包裝」。當一項心理學技術被包裝成解決所有問題的萬靈丹時，背後可能隱藏著巨大的經濟誘因，是受眾自己要有能力去區辨的。
參考文獻：
Macnamara, B. N., & Burgoyne, A. P. (2023). Do growth mindset interventions impact students’ academic achievement? A systematic review and meta-analysis with recommendations for best practices. Psychological Bulletin, 149(3-4), 133–173.