我采取了一種新的做法。我閱讀并批改了某個學(xué)生第一個問題的答案,然后接著改下一個學(xué)生的相關(guān)論述,而不是按順序讀完第一個學(xué)生的整本論文才評閱下一份。我確定將所有分數(shù)都寫在了論文集的封底,以避免在批改第二份論文時出現(xiàn)偏見(即使是無意識的)。在改變方法后不久,出現(xiàn)了一個令人擔憂的結(jié)果:我對評分的自信程度比原來更低了。原因在于我頻繁地感到一種不適。當我對某個學(xué)生的第二份論文感到失望時,便在他的論文集封底記下一個低分,但卻偶然發(fā)現(xiàn)我給他的第一份論文打了最高分。我也注意到了我會不經(jīng)意地改變尚未寫下來的分數(shù)以縮小兩份論文之間的分數(shù)差,并且,我很難克制住自己不這樣做。我對同一個學(xué)生的論文評分通常相差巨大。這樣的前后不一使我感到不確定和沮喪。
我現(xiàn)在對于自己的評分行為感到失望和不自信,但我認為這是件好事,因為它表明現(xiàn)在這個方法比原來的有進步。我先前所感到的一致性是偽造出來的,它使我有了認知放松之感,我的系統(tǒng)2也欣然接受了最后的分數(shù)。采用新方法之后,雖然第一個問題深深影響到我對之后學(xué)生的評估,但我允許自己這樣做,因而學(xué)生某些問題答得好和不好的分數(shù)差別也就不是我有意為之的了。但我發(fā)現(xiàn)同一個學(xué)生在回答一個問題時表現(xiàn)優(yōu)異,而對另一個問題的解答卻很糟糕。當我改變方法時,這種令人感到不適的前后不一致就顯露了出來:它不僅反映出隨便拿一個問題去衡量學(xué)生水平的做法是不恰當?shù)模€反映出我自己打出的分數(shù)同樣不可靠。
我采取的避免光環(huán)效應(yīng)的評卷方法遵循了一個普遍原則:消除錯誤的關(guān)聯(lián)!為了了解這一原則的工作原理,我們設(shè)想一下:向大量觀察者展示一些裝有硬幣的玻璃罐,讓他們估計一下每一個罐里硬幣的數(shù)量。詹姆斯·索羅維基(James Surowiecki)在他最為暢銷的著作《群體的智慧》(The Wisdom of Crowds)一書中解釋道,一個人單獨完成這個任務(wù)的效果并不理想,但一群人共同作出判斷時準確率就很高。有些人高估了硬幣的數(shù)量,另一些人低估了它,但對所有判斷進行平均估算得出的平均值就會趨近于準確值。這種機制很容易理解:每個人都觀察著同一個玻璃罐,他們的判斷都基于一個共同的基礎(chǔ)。另一方面,每個人犯的錯誤都與其他人的錯誤無關(guān),(在沒有系統(tǒng)性偏見的情況下)這些錯誤的平均值趨近于零。然而,只有在每個人的觀察相互獨立、每個人所犯錯誤之間不相關(guān)聯(lián)的情況下,降低錯誤率的奇跡才能出現(xiàn)。如果觀察者持有相同偏見,就算將他們的判斷匯總起來也難以降低錯誤率。允許不同觀察者之間相互影響會減少樣本量,進而影響小組估值的準確率。
想要從大量證據(jù)來源中獲取最有用的信息,你應(yīng)設(shè)法使這些來源相互獨立。這也是警察辦案時所遵循的規(guī)則。如果某個案件有多個目擊證人,在錄口供之前,這些證人是不能獲準討論案件的。這樣做不僅是為了防止不懷好意的證人相互串通,還避免了沒有偏見的證人相互影響。交流過各自目擊過程的證人容易在證詞中犯相似的錯誤,降低了他們所提供信息的總體價值。減少信息來源中的冗贅信息總是沒錯的。
企業(yè)高管需要花大量時間主持會議,獨立判斷原則(及解除錯誤關(guān)聯(lián))可以直接應(yīng)用到這些工作中。一條簡單的規(guī)則就能發(fā)揮作用:在開始討論某個問題之前,先讓與會的每一位成員各自寫下簡短的意見闡明自己的觀點。這個過程很好地利用了小組里不同知識和見解的價值。而開放性討論這一常規(guī)做法總會注重那些發(fā)言早而又強勢的人的意見,使得其他人一味附和他們的觀點。