2018年11月25日星期日

2018縣市長選舉民調機構準確度大排名以及評級(最終版)

前兩篇博文分別用台北, 新北, 台中 和高雄選前的最後民調將民調機構的準確度做了排名。這篇博文將數據取樣擴大到全台灣所有的縣市。 但是, 為了確保誤差最小化, 我們設定了取樣的標準: 1)民調必須是在選舉一個月內做的, 也就是說日期應該是在10月24號之後。 2)必須至少在四個縣市做民調。

按照這個標準我們從13個縣市選了42個民調來檢驗這七家民調機構這次九合一選舉的 “戰績”: 全國公信力, 聯合報系, 三立, 東森新聞, 世新大學, TVBS 和 旺旺中時。我們會將他們民調的誤差值(正值表示高估了國民黨候選人的勝選差距, 或低估了民進黨候選人的勝選差距。 負值表示低估了民進黨候選人)平均後, 按照他們的機構效應從最藍排到最綠然後,將這些誤差值絕對化以後 得出的平均值, 將他們從最準排到最不準。 各家民調機構還會按誤差值大小得到一個字母的分數。

從這個表可以看出幾個趨勢:
1)大多數民調低估了台北的姚文智,桃園的陳學聖,台中的盧秀燕和台南的高思博的得票率(大多數民調也高估了柯文哲的得票率)。
2)三立的七個民調  高估了所有民進黨候選人的得票率而且差距誤差都在20%左右。
3)山區, 農業縣的民調誤差都比較大:苗栗, 宜蘭, 雲林, 南投, 誤差值最小16%, 最大達到36%。


從誤差值平均值來看, 旺旺中時和三立分別屬於深藍和深綠的民調, 聯合報系屬於偏藍, TVBS,  東森新聞, 全國公信力, 和世新大學 屬於微綠 或者 接近沒有機構效應, 特別是TVBS.

從誤差絕對值的平均來看, TVBS 是最準的民調。 如果不是在台中低估了盧秀燕, 他們的機構評分絕對可以上升到A (評級是按照 100%- 誤差X 2, 再按大學評分標準換成字母分數的)。 在B 範圍內的按排名, 一次是 世新大學, 全國公信力, 東森新聞和聯合報系。 旺旺中時由於在台北市做了一個漂亮的民調, 整體評級剛好越過及格線 。 三立分數60都不到, 這次選舉民調大戰 FAIL! 他們在台中林佳龍領先11%的民調, 也是造成眾媒體認為台中選情膠著的一個很大原因。他們也是封關前唯一顯示陳其邁領先的民調。

2018台北市市長選舉民調準確度大PK:旺旺中時完勝!

今年的台北市市長選舉由於是三足鼎立的局勢, 無當即的柯文哲既有泛藍, 也有泛綠的票。 所以上一篇 2018年民調準確度大PK:聯合報 vs 世新 vs 東森 vs TVBS vs 三立 中五大民調機構準確率以及誤差, 以及民調機構藍綠傾向對比的博文沒有加入台北市。那台北市這一屆的選舉到底哪一家比較準呢?哪個候選人被高估, 哪個候選人又被低估了呢?我們就用以下圖片來一探究竟吧!


         將所有民調中的未表態率按照原始民調比例分配給三個候選人以後柯:丁:姚 的民調比例是 45.0:40.212.5.  對比實際選舉結果 41.05:40.82 : 17.92,  柯文哲被高估了3.94%, 丁守中基本準確被稍微低估 0.6%, 姚文智被嚴重低估4.80%。看來這4.8% 是蔡英文跟賴清德選情兩天為姚文智站台催出來的基本盤。丁守中選前15天沒有享受到 “韓流” 效應, 得票率比民調還少了0.6%。 或許選前一周,六都候選人合體 (包括韓國瑜)為丁守中造勢的取消重傷了丁守中, 可能直接導致了丁守中落選。

        從民調來看,最接近選舉結果41:4117 的是旺旺中時 的 41:40:18, 三個候選人平均誤差是0.8%. 值得注意的是, 旺旺中時也是除了民進黨外, 唯一高估姚文智民調的。 其次是大社會民調的43:4115, 三個候選人平均誤差是1.6%。 再次是TVBS的 45:4114平均誤差是2.6%. 
PK結果:旺旺中時 > 大社會  TVBS > 世新大學 >  聯合報系 > 東森新聞 > 民進黨 >  美麗島 > Yahoo

2018年11月24日星期六

2018年民調準確度大PK:聯合報 vs 世新 vs 東森 vs TVBS vs 三立

        2018年九合一選舉結果出來了。 同時,也是檢驗各家民調機構準確度的時刻。我們選了台灣人口最多的三個直轄市:新北市, 臺中市和高雄市的市長民調來窺探一下各家民調的機構的高低優劣。選擇這三個城市除了人口以外,另外一個原因是,這三個直轄市相對有懸念而且基本都是藍綠對決。 就算有獨立候選人, 他們的得票率也都在1%左右, 所以有利於縱向對比。我們挑選了五個在選前一個月內在三個直轄市都有做民調的單位:聯合報系 , 世新大學, 東森新聞,TVBS 和 三立。 我們使用的對比數據是將未表態的按照民調的比例分配給候選人。而民調差距也是對比調整后(原始民調數據+預估未表態選民分配到的比例)。

新北市的民調準確度排名:
1. TVBS  >  2.世新大學  > 3. 東森新聞  > 4. 三立 >  5. 聯合報系


台中市的民調準確度排名:
1. 聯合報系 >  2.東森新聞  > 3. 世新大學  > 4. TVBS  >  5. 三立


高雄市的民調準確度排名:
1. 東森新聞 >  2. TVBS > 3. 世新大學  > 4. 聯合報系 >  5. 三立

         綜合這三個直轄市的民調準確度對比,我們給這五個民調單位的優劣做了如下的排名

2018年11月22日星期四

韓國瑜得票率預測:從三屆高雄市長選舉民調推估2018藍綠差距

       在美國的選舉政治中 “Track record” (以往的記錄) 經常被用於形容一個候選人的過往的投票記錄或者是政績。 而在民調界, 一個機構做民調的track record 會影響新聞機構或者選舉預測人對這個機構民調結果的解讀。 例如, Rasmussen 就是長期拉高共和黨候選人民調的機構,而 Public Policy Polling 則被認為是偏民主黨的民調機構。 所以美國著名的選舉預測網站FiveThirtyEight  在解讀民調的時候, 在Margin (差距)的後面都會附加一欄 Adjusted Margin (調整的差距)。FiveThirtyEight 為2018亞利桑那州參議員選舉民調做的加權處理。 他們預測民主黨候選人Sinema 贏對手1.7% 與結果完全吻合!倒數第二欄的 “House Effect” 就是政論節目中經常提到的機構效應。我們可以從以下的圖片中看到, 選前最後一個發佈的民調Harris Interactive 顯示Sinema 只領先對手0.9%。 但是FiveThirtyEight 對這個民調機構過往的民調track record 做分析後發現該機構有 偏共和黨2.3% 的機構效應, 於是就給Sinema 又加了2.3% 到3.2%。
        美國的Webster Dictionary 將 track record 定義為 “a record of past performance often taken as an indicator of likely future performance” (用于预测未來表現的過去表現記錄)。 那我們就用幾家民調機構的track record 來計算一下他們的 “機構效應” (House Effect)然後對週六的高雄市長選舉做一下預測吧!

        首先, 包括這次選舉在內, 高雄縣市合併以後的市長選舉共有三次。 我們就用前兩次高雄市長選舉的民調的準確度的平均值 (track record)做為 “機構效應”(House Effect) 計算的基準來預估一下韓國瑜贏或者輸多少吧!從這三屆市長選舉的所有民調中,我們挑選了四家2010年, 2014年和2018年都有在選前半年公佈民調的機構。 他們是:聯合報系, 世新大學 TVBS 和 旺旺中時。我們分別根據他們在前兩界市長選舉民調中顯現出來的機構效應, 來預測韓國瑜的輸贏。

聯合報系: 韓國瑜 贏 13% (20萬票)
      聯合報在2010年的選前最後一次民調與實際開票結果相比, 陳菊少贏了16%。 但是在2014年他們的民調與結果相比反而讓陳菊多贏了8%。兩次的track record 平均一下, 我們計算出的聯合報系機構效應是偏藍4.2%。聯合報這次選舉做的封關民調是國民黨韓國瑜的49% 領先民進黨陳其邁的32% 17%。 如果聯合報的機構效應是偏藍4%, 則韓國瑜將會以 12.8%的差距打敗陳其邁。

世新大學: 陳其邁 贏 7% (10 萬票)
        世新大學在2010年和2014兩次市長選舉民調都將陳菊獲勝的差距低估了10% 因此世新大學的機構效應為偏藍10%。世新大學這次選舉做的封關民調是國民黨韓國瑜的35.4% 領先民進黨陳其邁的32.6% 有 2.8%。 如果世新大學的機構效應是偏藍10%, 則陳其邁將會以 7%的差距打敗韓國瑜。

TVBS: 韓國瑜 贏 4%  (6萬票)
        TVBS在2010年将陳菊獲勝的差距低估了13%, 而在2014年基本与实际差距完全吻合。 兩次的結果平均一下,TVBS的機構效應為 偏藍6%。TVBS這次選舉做的封關民調是國民黨韓國瑜的48% 領先民進黨陳其邁的38% 10% 如果TVBS 的機構效應是偏藍6%, 則韓國瑜將會以 4%的差距打敗陳其邁。

旺旺中時: 韓國瑜 贏 3% (4萬票)
        與TVBS類似的是旺旺中時,他們在2010年将陳菊獲勝的差距低估了4%, 而在2014年高估了2%。 兩次的結果平均一下,旺旺中時的機構效應為 偏藍1%。旺旺中時這次選舉做的封關民調是國民黨韓國瑜的42.5% 領先民進黨陳其邁的38.9% 3.6% 如果旺旺中時的機構效應是偏藍1%, 則韓國瑜將會以小於 3%的差距打敗陳其邁。

        單從這四家民調的絕對值平均來看, 韓國瑜會以 8% (12萬票 的差距擊敗陳其邁。如果將這四家民調調整后的差距(Adjusted Margin)平均一下, 韓國瑜預估會以 3% (5萬票的差距擊敗陳其邁。我們將會在選後更新來檢視這些民調的準確度。