[資料分析] 可信度加權決策賦予新聞可信度的可行性評估

1. 摘要

本文將探討可信度加權決策機制（Believability Weighted Decision Making）賦予新聞可信度，甚至進一步賦予報導者可信度的可行性評估（2），並著重於評分與評價（3.1）。評分定義為「替新聞打可信度分數」，評價則定義為「替評分打可信度分數」。

首先用評價結果計算讀者可信度（3.5.1）；用過去多次的讀者可信度計算讀者權重（3.5.2）；再用更新後的讀者權重與評分分數，進行加權平均計算後，求得報導者可信度（3.5.3），這一連串的過程皆為電腦隨機資料模擬。

接下來探討評分與評價分別在公正（3.6）與不公正（3.7）等四種條件下，對報導者可信度的影響程度。最後是極度不公正－－或者說專門帶風向的讀者（3.8），在不同讀者比例（3.8.2），以及模擬次數增加下（3.8.3），對報導者可信度的影響程度。

結論（4）與未來展望（5）則是希望在證明可信度加權決策機制的有效性後，提出一些構想。

最後附上實作程式碼供檢視（6）。

2. 研究動機與目的

2.1 假新聞

假新聞（Fake News）在通訊越來越發達的現代層出不窮，產生的速度、流竄的範圍都超越以往規模，載體也從電子郵件、即時通、MSN到現在的LINE，其間一直在進化。這種訊息目前已有相當多人與機關在努力防範，甚至有方便的轉發查詢機制，可以馬上知道該訊息是不是假新聞。

但還有另一種假新聞－－來自被公認具備新聞專業的專業新聞來源－－是相對難以分辨的，無論是因為記者的偏見、截稿壓力或上級指示，偏頗標題、匿名來源、斷章取義甚至直接攻擊某人都已成常態。專業的新聞來源不代表產出的新聞就具可信度，媒體本身也不再像以前那樣受到大眾信任。事實上，這種低品質、大量產出的假新聞還進一步弱化了媒體的監督能力。

2.2 可信度加權決策

創意擇優（Idea Meritocracy）是目前世界最大避險基金橋水公司的創辦人Ray Dalio提出的決策流程，由三個部份組成－－極度真實、極度透明與可信度加權決策。

可信度加權決策有別於民主制度的一人一票，乃是票票不等值；投票結果的計算方式也非採用簡單平均法，而是加權平均法，權重由自身的可信度（believability）組成。可信度的定義在其著作《原則》裡寫道：一、多次成功解決相關問題，二、能夠有邏輯地解釋結論背後的因果關係給其他人。後者很難量化；前者則是很容易理解，在過去多次決策中成功機率越高者，其發言在往後的決策應該越重要，擁有更高的權重。反之亦然。

2.3 研究目的

因此本文想探討可信度加權決策機制賦予新聞可信度的可行性，以及能否降低不公正評分的影響，進一步強化報導者的可信度。讓我們能夠藉由報導者過去的可信度，判斷當前報導的可信度，降低自己受報導者立場影響的程度。

3. 研究方法與設計

3.1 評分與評價流程

本文著重於兩個重點－評分（紅色）與評價（橙色），評分定義為「讀者替新聞打可信度分數」，評價則是「讀者替評分打可信度分數」。

Fig 1. 評分與評價流程

3.2 可信度分數

按《原則》裡所寫道，可信度分數是由1到10組成，由低到高代表完全不可信至完全可信。

$$score \in SCORE = \{ 1, \cdots, 10 \}$$

要產生分數，則是先依常態分配取z分數，再按照下列公式計算。

$$score = max(min(z\_score * \sigma + \mu, 10), 1)$$

因為常態分配沒有上下界，所以我們將分數分佈在3個標準差以內。

$$\sigma = \frac{max - min} {3} = \frac {10-1} {3} = 3 $$ $$\mu = \frac{min + max} {2} = \frac {1+10}{2} = 5.5$$

3.3 其他假設

3.3.1 報導者（Reporters）

每個報導者都有一個真實可信度供後續評估用，為常態分配$\sim N(0, 1)$。

3.3.2 新聞（News）

每個新聞都有一個真實可信度供後續評估用，為常態分配$\sim N(報導者的真實可信度, 1)$。

3.3.3 讀者（Readers）

現有權重為過去可信度的簡單平均，初始權重為可信度分數上限與下限的一半。

3.3.4 初始設定

讀者人數：20。
報導者人數：8。
每個報導者生產的新聞數：40。
讀者權重計算至最久筆數：10。
不公正讀者的比例：40%，共8人。
不公正讀者會給予的評分分數為[9, 10]。
每次模擬重覆次數：10。

3.4 模擬資料

資料採電腦隨機產生，每次模擬的分數皆不同。唯為評估成效，第一個報導者（reporters[0]）的真實可信度預設為1.75（-2.5個標準差），後續按圖表解釋有效性時也是看第一個報導者（reporters[0]）。

3.4.1 評分結果（Review）

Table 1. 評分結果

每一行代表每個讀者對每則新聞的評分：

review_id：評分結果
reviewer_id：評分者
news_id：新聞
reporter_id：報導者
news_score：新聞真實可信度
news_z_score：新聞真實可信度所對應的z分數
review_score：評分分數
review_z_score：評分分數所對應的z分數

3.4.2 評價結果（Judge）

Table 2. 評價結果

每一行代表每個讀者對每則評分的評價：

judge_id：評價結果
review_id：評分者
review_score：評分分數
news_score：新聞實際可信度
reporter_id：報導者
judger_id：評價者
judge_score：評價分數

3.5 計算可信度

3.5.1 讀者可信度

每位讀者既是評分者也是評價者，但不能評價自己的評分。

$$reviewer \neq judger \text{, } reviewer \in READERS \text{, } judger \in READERS$$

讀者可信度計算，評價分數與評價者權重的加權平均，由評分的品質反應讀者的可信度（Fig 1. 的B箭頭）。

$$score(reviewer) = \frac{\sum{[score(judge) * weight(judger)]}}{\sum{weight(judger)}}$$

3.5.2 讀者權重計算

讀者權重為最近10筆可信度的簡單平均。

$$weight(reader) = \frac{\sum_{t=0}^{9}[score(reader)_{-t}]}{10}$$

3.5.3 報導者可信度

報導者可信度計算，評分分數與評分者權重的加權平均，由評分的分數反應新聞的可信度（Fig 1. 的A箭頭）。

$$score(reporter) = \frac{\sum{[score(review) * weight(reviewer)]}}{\sum{weight(reviewer)}}$$

3.6 公正讀者（Fair Readers）

3.6.1 公正評分

公正讀者所給出的評分，應該會接近新聞本身的實際可信度。

$$score_{fair}(review) \sim N(score(news), 1)$$

3.6.2 公正評價

公正讀者所給出的評價，應該與評分分數和新聞實際可信度之間的距離成反比。

$$score_{fair}(judge) = max(SCORE) - abs[score(review) - score(news)]$$

在公正評分與公正評價的兩個條件下，我們可以畫出報導者可信度與讀者權重兩張圖表，後鑟也會用這兩張圖表作為可行性比較的基準。

Fig 2. 報導者可信度－公正評分與評價

可以看到，在可信度加權機制下，若是公正評分與評價，所得到的報導者可信度可以大致反應實際的可信度。

Fig 3. 讀者權重－公正評分與評價

在同樣的條件下，所有讀者都具備相同且極高的可信度。

3.7 不公正讀者（Unfair Readers）

3.7.1 不公正評分

遇到特定報導者的新聞，會一律評高分或低分，在此我們設定不公正的讀者會評高分。

$$score_{unfair}(review) \in \{9, 10\}$$

Fig 4. 報導者可信度－不公正評分與公正評價

可以看到第一個報導者（reporters[0]）的可信度被刻意拉高了，其他報導者的可信度依然大致相符。雖說加權平均法比簡單平均法更能反應報導者可信度，但兩者並沒有相差多少。

Fig 5. 讀者權重－不公正評分與公正評價

雖然第一個報導者的可信度分數無法反應實際的可信度，但不公正讀者的權重相較於其他公正讀者明顯偏低。

3.7.2 不公正評價

因為前面已設定不公正讀者遇到特定報導者時，會給予高分評分。因此在不公正讀者評價的部份，設定成其他讀者的評分分數低於平均的話會給予極度低分（打壓），高於平均的話會給予極度高分（拉抬）。

$$score_{unfair}(judge) \in \cases{
\{9, 10 \} \text{ if } score(review) \ge \mu \cr
\{1, 2\} \text{ if } score(review) \lt \mu
}$$

Fig 6. 報導者可信度－公正評分與不公正評價

Fig7. 讀者權重－公正評分與不公正評價

可以看到和公正評分與公正評價時差不了多少，這其實很好理解。因為報導者的可信度來自評分，評分的可信度又來自於評價，評價本身的品質並沒有被第三方評估過，因此評分結果在目前的假設下將一律視為高品質結果。

不過會進行公正的評分，但是評價他人時卻會不公正，難以想像會有兩種條件同時成立的讀者存在。

3.7.3 不公正評分與不公正評價

Fig 8. 報導者可信度-不公正評分與評價

Fig 9. 讀者權重－不公正評分與評價

兩個條件結合的結果，甚至些微地拉高了第一個報導者的可信度。

3.8 極度不公正

3.8.1 剔除公正評分與公正評價

在前面的三種不公正例子中，會發現簡單平均法和加權平均法計算出來的第一個報導者可信度都相差不了多少，那是因為我們產生隨機資料時是全部新聞都被全部讀者評分，全部評分都被全部讀者評價，因此其中還包括了那些不公正讀者的公正評分與公正評價。在這裡，我們將這些公正的評分與評價剔除，只留下不公正的評分與不公正的評價，並將其定義為極度不公正讀者，或者可以說就是專門帶風向的讀者。

Fig 10. 報導者可信度－極度不公正

當剔除不公正讀者的公正評分與評價後，兩種平均法計算出來的第一個報導者可信度就有顯著的不同，在加權平均下雖然離報導者實際的可信度依然有段距離，但已比簡單平均更接近。

Fig 11. 讀者權重－極度不公正

極度不公正讀者的權重也會顯著地低於其他公正讀者權重，甚至低於平均。

3.8.2 極度不公正讀者比例對可信度的影響

Fig 12. 極度不公正讀者比例下的報導者可信度

無論是簡單平均法還是加權平均法，兩者計算出的報導者可信度都會被極度不公正的讀者拉高，但拉高的程度上還是有所區別。在這張圖表我們可以看出，隨著極度不公正讀者比例越來越高（X軸），加權平均法算出來的可信度被影響的程度依然會小於簡單平均（Y軸），直至70%以後才被超過。

不過話說回來，若一個網站或服務有那麼多極度不公正的讀者存在，那也是挺有問題的。

3.8.3 次數增加能否讓加權平均後的可信度接近真實可信度

Fig 13. 不同模擬次數下的報導者可信度

前述皆以10次模擬為準，那麼是不是評分與評價的次數越多，加權平均法計算出的可信度就越接近實際可信度？在這裡我們就可以看出也許是可以的，只是接近的速率似乎會越來越平緩，這可能和初始設定的報導者人數、讀者人數和新聞數等條件有關。

4. 結論

本次模擬結果顯示，可信度加權決策機制確實能夠賦予新聞可信度，而且相較於一般簡單平均評分機制，加權平均後的可信度會更加接近新聞的實際可信度。

5. 未來展望

5.1 防範假新聞

本文一直有個前提，就是每個新聞都有一個報導者，其實這也是本文發想的靈感。假新聞在這個時代已是非常棘手的社會問題，亦是難以防範的惡意操控風向手法，但問題就在憲法保障我們的言論自由，因此面對假新聞政府很難直接出手介入，必須透過法律來處理才行。

「新聞報導需強制附上報導者與編輯名字」就是一個很好的機制，每個報導者都應該為自己寫出來的新聞負責，編輯則是為自己所下的標題負責。甚至極端一點，沒有附上報導者名字－－綜合報導、國際外電、新聞中心－－的新聞，都該視作一種假新聞，有時甚至引用的外電來源，本身在當地就是假新聞的代表。一篇正確傳達事件、不帶偏見的新聞一定會有一位或多位正確的作者，讀者有權知道是誰寫出來的。

5.2 再一層評分機制

但這樣不夠，新聞媒體的壓迫力道還是有可能凌駕於報導者本身的意願，因此我們還需要讓讀者為新聞打分數。一般的評分機制已有部份網站提供，針對的卻只是新聞報導本身，並未連結至報導者本身，這讓我們無法得知報導者本身的可信程度。

再者，就算評分分數真的能夠連結到報導者本身，若遭有心人士大量註冊帳號，評分結果還是有可能失準，所以我們需要再一層的評分機制，也就是讓讀者針對其他讀者評分。這樣一來，每個讀者的評分就不再是票票等值了，而是必須連續多次作出正確評分才會有較高的權重。

如果報導者和新聞媒體是一對一關係的話，還可以再進一步計算出新聞媒體的可信度。這樣的機制也可以鼓勵報導者產出高可信度的報導，進一步提升整體新聞環境品質。

5.3 多種指標

現實生活中，我們很少只用一個分數就評斷好壞，例如棒球選手就有許多指標來代表他的打擊、防守、上壘或得分能力，這還只是打者的部分，更別說其他運動。若要評斷新聞報導的品質，可以將評分分數劃分成多項指標，例如提供來源佐證、用字精確、善盡查證義務、資訊量充足、前因後果交待完整、準確性高等等。透過這樣子多維度的評量，可以讓計算出的可信度更貼近事實。

5.4 用在其他實體

可信度加權決策機制也可以運用在其他實體上，例如公眾人物、政治人物、演藝人員，或是店家、商品甚至是粉絲團，只要有評分機制的地方，都可以再加上一層評價機制。透過賦予每個使用者權重，降低蓄意帶風向的影響程度。

5.5 匿名制與實名制

如果整個服務都是匿名制，那被有心人士帶風向的風險還是蠻大的。但原本就是匿名制的服務，一下要改成完全實名制的話，有些不切實際，自願實名制會是比較好的作法。甚至願意實名的使用者，其權重應該要大於匿名使用者才對，因為他們敢讓網路上的言論連結到本人的言論，這是一種對自己的言論負責任的作法。

6. 原始碼

程式碼：https://github.com/yyc1217/news-bvty

模擬成果展示：https://yyc1217.github.io/news-bvty/output/bvty.html