解讀統計與研究 教你讀懂,判斷,和書寫有統計資料的研究報告

33愛的鼓勵 10訂閱站台

讓我先引用筆者譯作"一位耶魯大學教授的統計箴言"的一段話:

當多重檢定於同組數據或一系列研究時，風格議題就無法避免。如Diaconis（1985）所提，「多重性是數據分析程序裡最顯眼的難題。粗略地說，如果足夠多的不同統計值被計算，其中有些必定會呈現出結構（p. 9）」。換句話說，隨機模式會好像包含某種系統性，當以許多特定方式去詳加檢視時。如果你觀察夠多的鵝卵石，必定存在一個看起來像人臉的石頭。知道了這一點，如果你應用極端嚴格的標準來指認刻意雕琢的人臉，你可能會錯過整個復活島（Easter Island）的人頭像證據。

換句話說 你一直丟骰子 丟的次數越多 出現你想要點數的機會就越大 你一直進行統計檢定 出現顯著結果的機率就越大 你一直約女生出去約會 總有一次會被你約到 我曾經看過一篇因素分析的研究報告 進行了至少不下二十次的t檢定 用的是0.05的統計水準 約八成有顯著結果 但是進行邦弗朗尼校正之後 只有不到一成的顯著結果 也就是說 保守傾向的研究者會覺得這篇研究應該被丟入垃圾桶而不是被發表 

再引用一下筆者譯作"一位耶魯大學教授的統計箴言"的一段話:

Manny Powers, 靈媒。  假設有一位研究者對靈媒（稱他為Manny Powers）的超感官知覺感興趣。研究者對靈力執行40個研究，每天一個研究。每一天，靈力於五種不同的ESP任務上被檢定（傳心術、預知力、隔空移物等等）。目標是發現靈力作用的情況，操作定義為，在特定天的特定任務上，表現的比機率所期待的要好。

    研究者應該怎麼指明0.05顯著水準的意義？不相信任何ESP表現形式的懷疑論者，會指明0.05的顯著水準要建立於每一天的每一項任務上，所以會有200個機會去拒絕虛無假設。因此，平均上，會期待有10次（0.05×200）虛無假設會被拒絕。換句話說，會有約10次機會，在某項特定的任務上，超感官靈力的表現「比機率要好」。狡猾或自我欺騙的研究者，可能只聚焦於這10次左右的成功，把大概190次的失敗擺一邊--轉移焦點詭計。（公眾對於失敗次數的無知，被稱作抽屜問題; Iyengar ＆ Greenhouse, 1988; Rosenthal, 1979。）

    考慮把這整個一系列研究視為一個單元，200倍的錯誤率實在太高。為了達到整個一系列研究裡每100次只有5次的錯誤率，研究者必須把每一個顯著檢定的顯著水準設定為0.05/200或0.00025。這種依據檢定數目而校正顯著水準的程序，稱為邦弗朗尼（Bonferroni）校正法（Emerson, 1991a; Miller, 1981）。很顯然地，這會使任何特定場合的ESP更難以被主張。