http://readforjoy.blogspot.tw/2008/10/survivorship-bias.html
1941年，第二次世界大戰正打得如火如荼。
有一天，美國哥倫比亞大學著名的統計學家沃德教授(Abraham Wald)，遇到了一個意外的訪客，那是英國皇家空軍的作戰指揮官。他說：「沃德教授，每次飛行員出發去執行轟炸任務，我們最怕聽到的回報是：『呼叫總部，我中彈了』。請協助我們改善這個攸關飛行員生死的難題吧！」沃德接下這個緊急研究案，他被委託分析德國地面砲火擊中聯軍轟炸機的資料，並且以統計專業，建議機體裝甲應該如何加強，才能降低被砲火擊落的機會。但依照當時的航空技術，機體裝甲只能局部加強，否則機體過重，會導致起飛困難及操控遲鈍。
沃德將聯軍轟炸機的彈著點資料，描繪成下列的兩張比較表。沃德的研究發現，機翼是最容易被擊中的部位，而飛行員的座艙與機尾，則是最少被擊中的部位。
圖片出處：http://www.readingtimes.com.tw/timeshtml/ad/DH0185/P001.html
沃德詳盡的資料分析，令英國皇家空軍十分滿意。但在研究成果報告的會議上，卻發生一場激辯。負責該專案的作戰指揮官說：「沃德教授的研究清楚地顯示，聯軍轟炸機的機翼，彈孔密密麻麻，最容易中彈。因此，我們應該加強機翼的裝甲。」
沃德客氣但堅定地說：「將軍，我尊敬你在飛行上的專業，但我有完全不同的看法，我建議加強飛行員座艙與機尾發動機部位的裝甲，因為那兒最少發現彈孔。」在全場錯愕懷疑的眼光中，沃德解釋說：「我所分析的樣本中，只包含順利返回基地的轟炸機。從統計的觀點來看，我認為被多次擊中機翼的轟炸機，似乎還是能夠安全返航。而飛機很少發現彈著點的部位，並非真的不會中彈，而是一旦中彈，根本就無法返航。」
指揮官反駁說：「我很佩服沃德教授沒有任何飛行經驗，就敢做這麼大膽的推論。就我個人而言，過去在執行任務時，也曾多次機翼中彈嚴重受創。要不是我飛行技術老到，運氣也不錯，早就機毀人亡了。所以，我依然強烈主張應該加強機翼的裝甲。」
這兩種意見僵持不下，皇家空軍部部長陷入苦思。他到底要相信這個作戰經驗豐富的飛將軍，還是要相信一個獨排眾議的統計學家？由於戰況緊急，無法做更進一步的研究，部長決定接受沃德的建議，立刻加強駕駛艙與機尾發動機的防禦裝甲。
不久之後，聯軍轟炸機被擊落的比例，果然顯著降低。為了確認這個決策的正確性，一段時間後，英國軍方動用了敵後工作人員，蒐集了部份墜毀在德國境內的聯軍飛機殘骸。他們中彈的部位，果真如沃德所預料，主要集中在駕駛艙與發動機的位置。
看不見的彈痕最致命
乍看之下，作戰指揮官加強機翼裝甲的決定十分合理，但他忽略了一個事實：彈著點的分布，是一種嚴重偏誤的資料。因為最關鍵的資料，其實是在被擊落的飛機身上，但這些飛機卻無法被觀察到。因此，佈滿了彈痕的機翼，反而是飛機最強韌的部位。空軍作戰指揮官差點因為太重視「看得見」的彈痕，反而做出錯誤的決策。這個案例有兩個特別值得警惕的地方。
死掉或被俘的人無法發表意見。
第一，蒐集更多資料，並不會改善決策品質。由於彈痕資料的來源本身就有嚴重的偏誤，努力蒐集更多的資料，恐怕只會更加深原有的誤解。
第二，召集更多作戰經驗豐富的飛行員來提供專業意見，也不能改善決策品質。因為這些飛行員，正是產生偏誤資料過程中的一環。他們都是安全回航的飛行員，雖然可能有機翼中彈的經驗，但都不是駕駛艙或發動機中彈的「烈士」。簡單的說，當他們愈認真凝視那些「看得到」的彈痕，他們離真相就愈遠。
資訊界有所謂「Garbage In, Garbage Out」，前提（或假設）若是錯誤，再漂亮的統計算式或方法、再多的資料，也不能讓後面的推論變得正確。
在管理實務與日常生活中，許多關鍵的資料，也像上述轟炸機的個案一樣，會因為「失敗」而觀察不到。（《決勝：在看不見的地方》頁45）
台大劉順仁教授在著作《決勝》一書中對「存活者偏差(survivorship bias)」的舉例說明，是我讀過的書中最生動貼切又清楚的一個。
如果有一位七十歲的老人在電視上說，他就是靠每天抽一包煙、嚼一包檳榔才能長壽，請想起「死人沒法上電視說話」這件事。同樣的道理，不是那個地方長壽的老人家吃或喝某東西，某東西就是養生聖品。
再看一個騙錢的例子（這已經進化到email版）。
1月2日你接到一封匿名信，向你表示，這個月市場會上漲。結果市場果然上漲，但你不以為意，因為大家都知道有元月效應這回事（歷年來一月間股價漲多跌少）。到了二月一日，你又接到另一封信，向你表示，市場將下跌。這一次，又給那封信說中了。三月一日再接到一封信，情形一樣。七月，你對那位匿名人士的先見之明很感興趣，對方邀你投資某個海外基金。於是你把全部的儲蓄拿出來投資。兩個月以後，那些錢有如肉包子打狗，一去不回。你伏在鄰居的肩膀上嚎啕大哭，他告訴你，他也接過兩封這種神秘信，但寄到第二封就停了。他說，第一封信的預測正確，但第二封不正確。
這是怎麼一回事？那些騙子玩的把戲是，他們從電話簿找出一萬個人名，寄出後市看漲的信給其中一半的人，後市看跌的信給另一半的人。一個月後，將有五千人接到的信預測正確，然後再針對這五千人如法炮製。再一個月後，剩下二千五百人接到的信預測正確，如此直到名單上剩下五百人，其中會有兩百人受騙上當。因此騙子只要花幾千美元的郵資，便可賺進數百萬美元。（《隨機的致富陷阱：解開生活中的機率之謎Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets》頁171）
把手法作些改變。某騙子假裝投顧老師招收會員，跟你說你可以先加入一般會員，等你覺得準了再加入VIP會員。這改變更巧妙的地方在於，騙子一開始就能賺到錢，此外VIP會員還會幫騙子建立口碑，證明騙子有多準——存活者偏差(survivorship bias)。只要資訊不流通，其他人不知道這假的投顧老師有多麼（不）準。這也是地下電台賣藥的跟算命的手法之一。
 |  |
有一天，美國哥倫比亞大學著名的統計學家沃德教授(Abraham Wald)，遇到了一個意外的訪客，那是英國皇家空軍的作戰指揮官。他說：「沃德教授，每次飛行員出發去執行轟炸任務，我們最怕聽到的回報是：『呼叫總部，我中彈了』。請協助我們改善這個攸關飛行員生死的難題吧！」沃德接下這個緊急研究案，他被委託分析德國地面砲火擊中聯軍轟炸機的資料，並且以統計專業，建議機體裝甲應該如何加強，才能降低被砲火擊落的機會。但依照當時的航空技術，機體裝甲只能局部加強，否則機體過重，會導致起飛困難及操控遲鈍。
沃德將聯軍轟炸機的彈著點資料，描繪成下列的兩張比較表。沃德的研究發現，機翼是最容易被擊中的部位，而飛行員的座艙與機尾，則是最少被擊中的部位。
圖片出處：http://www.readingtimes.com.tw/timeshtml/ad/DH0185/P001.html
沃德詳盡的資料分析，令英國皇家空軍十分滿意。但在研究成果報告的會議上，卻發生一場激辯。負責該專案的作戰指揮官說：「沃德教授的研究清楚地顯示，聯軍轟炸機的機翼，彈孔密密麻麻，最容易中彈。因此，我們應該加強機翼的裝甲。」
沃德客氣但堅定地說：「將軍，我尊敬你在飛行上的專業，但我有完全不同的看法，我建議加強飛行員座艙與機尾發動機部位的裝甲，因為那兒最少發現彈孔。」在全場錯愕懷疑的眼光中，沃德解釋說：「我所分析的樣本中，只包含順利返回基地的轟炸機。從統計的觀點來看，我認為被多次擊中機翼的轟炸機，似乎還是能夠安全返航。而飛機很少發現彈著點的部位，並非真的不會中彈，而是一旦中彈，根本就無法返航。」
指揮官反駁說：「我很佩服沃德教授沒有任何飛行經驗，就敢做這麼大膽的推論。就我個人而言，過去在執行任務時，也曾多次機翼中彈嚴重受創。要不是我飛行技術老到，運氣也不錯，早就機毀人亡了。所以，我依然強烈主張應該加強機翼的裝甲。」
這兩種意見僵持不下，皇家空軍部部長陷入苦思。他到底要相信這個作戰經驗豐富的飛將軍，還是要相信一個獨排眾議的統計學家？由於戰況緊急，無法做更進一步的研究，部長決定接受沃德的建議，立刻加強駕駛艙與機尾發動機的防禦裝甲。
不久之後，聯軍轟炸機被擊落的比例，果然顯著降低。為了確認這個決策的正確性，一段時間後，英國軍方動用了敵後工作人員，蒐集了部份墜毀在德國境內的聯軍飛機殘骸。他們中彈的部位，果真如沃德所預料，主要集中在駕駛艙與發動機的位置。
看不見的彈痕最致命
乍看之下，作戰指揮官加強機翼裝甲的決定十分合理，但他忽略了一個事實：彈著點的分布，是一種嚴重偏誤的資料。因為最關鍵的資料，其實是在被擊落的飛機身上，但這些飛機卻無法被觀察到。因此，佈滿了彈痕的機翼，反而是飛機最強韌的部位。空軍作戰指揮官差點因為太重視「看得見」的彈痕，反而做出錯誤的決策。這個案例有兩個特別值得警惕的地方。
死掉或被俘的人無法發表意見。
第一，蒐集更多資料，並不會改善決策品質。由於彈痕資料的來源本身就有嚴重的偏誤，努力蒐集更多的資料，恐怕只會更加深原有的誤解。
第二，召集更多作戰經驗豐富的飛行員來提供專業意見，也不能改善決策品質。因為這些飛行員，正是產生偏誤資料過程中的一環。他們都是安全回航的飛行員，雖然可能有機翼中彈的經驗，但都不是駕駛艙或發動機中彈的「烈士」。簡單的說，當他們愈認真凝視那些「看得到」的彈痕，他們離真相就愈遠。
資訊界有所謂「Garbage In, Garbage Out」，前提（或假設）若是錯誤，再漂亮的統計算式或方法、再多的資料，也不能讓後面的推論變得正確。
在管理實務與日常生活中，許多關鍵的資料，也像上述轟炸機的個案一樣，會因為「失敗」而觀察不到。（《決勝：在看不見的地方》頁45）
台大劉順仁教授在著作《決勝》一書中對「存活者偏差(survivorship bias)」的舉例說明，是我讀過的書中最生動貼切又清楚的一個。
如果有一位七十歲的老人在電視上說，他就是靠每天抽一包煙、嚼一包檳榔才能長壽，請想起「死人沒法上電視說話」這件事。同樣的道理，不是那個地方長壽的老人家吃或喝某東西，某東西就是養生聖品。
再看一個騙錢的例子（這已經進化到email版）。
1月2日你接到一封匿名信，向你表示，這個月市場會上漲。結果市場果然上漲，但你不以為意，因為大家都知道有元月效應這回事（歷年來一月間股價漲多跌少）。到了二月一日，你又接到另一封信，向你表示，市場將下跌。這一次，又給那封信說中了。三月一日再接到一封信，情形一樣。七月，你對那位匿名人士的先見之明很感興趣，對方邀你投資某個海外基金。於是你把全部的儲蓄拿出來投資。兩個月以後，那些錢有如肉包子打狗，一去不回。你伏在鄰居的肩膀上嚎啕大哭，他告訴你，他也接過兩封這種神秘信，但寄到第二封就停了。他說，第一封信的預測正確，但第二封不正確。
這是怎麼一回事？那些騙子玩的把戲是，他們從電話簿找出一萬個人名，寄出後市看漲的信給其中一半的人，後市看跌的信給另一半的人。一個月後，將有五千人接到的信預測正確，然後再針對這五千人如法炮製。再一個月後，剩下二千五百人接到的信預測正確，如此直到名單上剩下五百人，其中會有兩百人受騙上當。因此騙子只要花幾千美元的郵資，便可賺進數百萬美元。（《隨機的致富陷阱：解開生活中的機率之謎Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets》頁171）
把手法作些改變。某騙子假裝投顧老師招收會員，跟你說你可以先加入一般會員，等你覺得準了再加入VIP會員。這改變更巧妙的地方在於，騙子一開始就能賺到錢，此外VIP會員還會幫騙子建立口碑，證明騙子有多準——存活者偏差(survivorship bias)。只要資訊不流通，其他人不知道這假的投顧老師有多麼（不）準。這也是地下電台賣藥的跟算命的手法之一。
沒有留言:
張貼留言