7.12.2012

מדוע המשתנים החיצוניים בבחירות בישראל אינם בטלים בשישים?

היסטורית, סקרי הבחירות מתקשים לחזות במדויק או אפילו בקירוב טוב את תוצאות הבחירות בישראל. זה לא שיש מחסור בסוקרים, נהפוך הוא. מספר הסוקרים הרציניים בישראל, עם בין שלושה לארבעה מיליון מצביעים, לא רחוק מזה בארה״ב, שם ניגשו לקלפי לפני כחודש כמעט 130 מיליון בעלי זכות הצבעה.
אם כך, מדוע בכל ליל בחירות בארץ ישנה תחושה של פספוס? 
מהם הגורמים העומדים בדרכנו לנבא את התוצאות בהצלחה וכיצד ניתן להתגבר עליהם? התשובה מורכבת, אז בואו נעשה בה קצת סדר.. 

ראשית, הרבה יותר קשה לחזות במדויק את מספר המנדטים של כ-15 מפלגות מאשר את ניצחונו של אחד מבין שני מועמדים, כמו למשל בבחירות לנשיאות או לכל מושב בסנאט בארה״ב, או בשיטת הבחירה הישירה שהונהגה בישראל ב-1996 וב-1999. 

שנית, לסקר בודד ישנה שגיאה גדולה. סקר בחירות ממוצע מבוסס על כ-500 נשאלים בעלי זכות בחירה, שהם כ-0.01% בלבד מכמות המצביעים ביום הבחירות. לסקר כזה צפויה שגיאה סטטיסטית של כ-4%. לשם השוואה, ברק אובמה ניצח את מיט רומני בבחירות בארה״ב לפני כחודש בפער השווה בערך לשגיאה הסטטיסטית בכל אחד מהרוב המוחלט של הסקרים שנערכו לפני הבחירות. האם פירוש הדבר הוא שלא ניתן היה לחזות את הניצחון? כלל וכלל לא. להיפך, הבחירות האחרונות בארה״ב סימנו את ניצחון הסטטיסטיקאים. מומחים לחיזוי בחירות (מעתה ׳מנבאים׳) שונים הצביעו על אובמה כפייבוריט לניצחון בסיכוי של למעלה מ-90%, ביניהם נייט סילבר מהניו-יורק טיימס, סטטיסטיקאי ספורט ומודל לחיקוי עבור בטל בשישים. חלקם, פרופ׳ סאם וונג מאונ' פרינסטון בארה"ב, למשל, הרחיקו לכת ואף נתנו לאובמה למעלה מ-99% סיכוי לנצח.  


מהיכן שאבו המנבאים את הביטחון (היו שאמרו: את החוצפה) לצאת בהכרזה כל-כך חד-צדדית בבחירות שנחשבו ע״י פוליטיקאים ופרשנים רבים לצמודות במיוחד? המפתח, כצפוי, הוא שילוב התוצאות של מספר רב של סקרים. קל להיווכח, ולהוכיח מתמטית, שממוצע פשוט של הסקרים מהווה תחזית טובה בהרבה של התוצאות, ואכן, עיתונים וערוצי טלוויזיה שונים בארה"ב נוטים לפרסם גם את ממוצע הסקרים בכל שבוע (עם כותרות מרשימות כגון ׳סקר הסקרים׳). אולם, אם נבחן את הביצועים של סקרי הסקרים במערכות הבחירות הקודמות בישראל, ניווכח שרובם היו עדיין רחוקים מניבוי מדויק של התוצאות (על כך נרחיב בפוסט נפרד).


מיצוע פשוט איננו הפיתרון, אם כן. על-מנת לשפר את ביצועי התחזיות, נוהגים המנבאים להשתמש במדדים סטטיסטיים ׳יציבים׳ יותר. החציון הוא דוגמא פשוטה, שכן הוא מקטין את הרגישות לתוצאות חריגות (למשל, הממוצע של שלושה סקרים לפיהם מפלגת ש״ס תקבל 9, 11 ו-19 מנדטים הוא 13. החציון הוא 11. אולם החציון היה נשאר 11 גם אם במקום 19 היה הסקר החורג חוזה 91 מנדטים לש״ס, לעומת הממוצע שהיה נוסק ל-37).

לבסוף, באירוע מורכב כמו מערכת בחירות, עם מיליוני מצביעים ועשרות מועמדים, ישנם הרבה גורמים מפריעים - מכאן ואילך ׳משתנים חיצוניים׳ - העומדים בדרכנו בבואנו לנפק תחזית מדויקת. בטיפול במשתנים החיצוניים׳ מתחלקים המנבאים בגישתם לניתוח-על (בלעז Meta-Analysis) - משפחה של שיטות לניתוח סטטיסטי משולב של תוצאות ממספר מקורות - לשתי אסכולות: השכיחותיים (Frequentists) והבייסיאניים (Bayesians).

השכיחותיים דוגלים בהסתמכות על נתוני הסקרים בלבד, ללא כל הנחה נוספת. טיעונם העיקרי הוא שניתוח סטטיסטי ׳עיוור׳, אך משוכלל ויציב ככל הניתן, עדיף על הסתמכות על שורה של הנחות בלתי מבוססות לגבי המשתנים החיצוניים.


נציג של שיטה זו הוא פרופ׳ סאם וונג מפרינסטון, שעוסק בניבוי בחירות בארה״ב מאז 2004. אחד הלקחים המוקדמים שלמד וונג על בשרו והובילו אותו לנטוש לגמרי כל הנחה מראש לגבי משתנים חיצוניים הוא כישלונו בניבוי התוצאה ב-2004, אז הפסיד הסנטור ג׳ון קרי לנשיא המכהן ג׳ורג וו. בוש בהפרש זעום. הניתוח הסטטיסטי היבש של וונג הורה על ניצחון אלקטורלי של בוש, אולם הנחה שרירותית שהכניס וונג מבעוד מועד לתוך המודל, על-פיה במקרה של בחירות צמודות ידו של נשיא מכהן נוטה להיות על התחתונה, הובילה לכך שהמודל הצביע על קרי כמנצח צפוי על חוט השערה. לאחר מקרה זה הסיר וונג את כל ההנחות השרירותיות מהמודל שלו.
ככלל, ככל ששיטת הבחירות פשוטה יותר, עולה קרנם של מנבאים מסוג זה. 

המשפחה השנייה של מנבאים מתבססת על הגישה הבייסיאנית, המבוססת על העיקרון של הסתברות מותנה. עפ״י משפט בייס, ההסתברות ל׳אירוע A בהינתן אירוע B, שווה להסתברות לאירוע A כפול ההסתברות ל׳אירוע B בהינתן A׳ חלקי ההסתברות לאירוע B (בהנחה שזו אינה אפס):
בפועל, המשמעות היא שבהינתן סט של הנחות המתקבלות מראש ומשוערות בהסתברויות מסוימות, ניתן לנבא את ההסתברות לתוצאה כלשהי על סמך תוצאות הסקרים. כלומר, המודל נשען על מספר הנחות ותלוי בהן. ככל שהדיוק בקביעת הנחות אלו גבוה יותר, הדיוק בקביעת ההסתברות לתוצאת הבחירות גבוה יותר.

במערכת בחירות פשוטה יש להיזהר בנקיטת גישה זו, שכן הוספת הנחות לא מדויקות עלולה לגרום לטעות בניבוי אפילו אם הסקרים עצמם מדויקים. במערכת בחירות מורכבת יותר, לעומת זאת, חשיבות ההנחות האלו עולה שכן בעטיים של מספר רב של משתנים חיצוניים, חלקם הגורמים לטעויות שיטתיות בסקרים, אין ביכולתם של הסקרים בלבד לספק מענה כולל.

לדוגמא, מוטיב חוזר בניתוח תוצאות בחירות הוא השגיאה בניבוי מספר המנדטים במפלגות ערביות ובמפלגות חרדיות. אחת הסיבות לכך היא שסקרים רבים מתמקדים באוכלוסיה היהודית בלבד ומתקשים לאמוד את אחוזי ההצבעה של האזרחים הערבים.

המודל הסטטיסטי העומד בבסיסו של בטל בשישים הוא מודל בייסיאני. לא נחשוף את המודל כולו על מורכבויותיו, אך נציין מספר משתנים חיצוניים עליהם נתנו את הדעת בבניית המודל: הבדלים באחוזי ההצבעה בין אוכלוסיות שונות, סוקרים עם טעויות שיטתיות חוזרות ונשנות, מפלגות בעלות נטייה היסטורית מובהקת לשגיאה בניבוי, התחזקות של מגמות  'אופנתיות' בשבועות האחרונים של מערכת הבחירות ותלות חזקה בין מפלגות שונות ביניהן מספר רב של מתלבטים, לעתים עד יום הבחירות עצמו. בנוסף, הסימולציות שלנו מביאות בחשבון גורמים חשובים נוספים כגון קולות אבודים, פסולים והסכמי עודפים.

עבור הבחירות ב-2009 ו-2006, המודל של בטל בשישים ניפק בדיעבד תחזית מדוייקת לגודל גושי הימין והשמאל ותחזית מדויקת בהרבה עבור המפלגות השונות בהשוואה לסקרים בודדים או ממוצע פשוט שלהם. אנו מקווים לא לאכזב גם  בבחירות 2013.

מתוך www.xkcd.com




8 תגובות:

  1. הסבר פשוט ויפה. זה תמיד קשה להסביר סטטיסטיקה לאנשים שאינם מהתחום, אבל הצלחתם :-)
    מקווה שתצליחו גם בבחירת ההנחות הנכונות ובחיזוי תוצאות הבחירות...

    השבמחק
  2. האם בניתם את המודל שלכם על סמך נתונים מבחירות 2006 ו-2009?
    אם כן, מעניין אותי לדעת מה הדמיון בין מודל שנבנה כדי לחזות את תוצאות 2006 על סמך סקרי 2006 לבין המודל שנבנה כדי לחזות את תוצאות 2009 על סמך תוצאות 2009. ככל שהדמיון רב יותר, גדול יותר הסיכוי שהמודל יועיל גם ב-2013.

    השבמחק
    תשובות
    1. יוסי,

      זו כמובן נקודה חשובה. את המודל שלנו לא בנינו על סמך מערכת בחירות מסוימת, אלא על שורה של כלים סטטיסטיים "עיוורים" בתוספת מספר הנחות (כלליות ככל האפשר) לגבי המשתנים החיצוניים. בכיול הפרמטרים השונים (ה-priors) נעזרנו בדפוסים שונים שעולים ממערכות בחירות קודמות, אבל ודאי שלא ניסינו לתפור לכל מערכת בחירות סט נפרד של פרמטרים (כלומר נמנענו מ-overfitting), מפני שאז כוח החיזוי נפגע מאוד .

      בקרוב נעלה פוסטים מפורטים שמתארים את התוצאות שלנו ב"חיזוי" מערכות הבחירות הקודמות.

      מחק
  3. יפה ומעניין - שיטה טובה שיכולה להוביל אתכם לתוצאות מדויקות יותר בלי להתעסק עם כל כאב הראש של כתיבת והפצת הסקרים עצמם.
    עד כמה הסקרים השונים דומים זה לזה בשיטותיהם - האם הם מבוססים על מדגם דומה? האם האופן בו נקבע המדגם הזה דומה? עד כמה השאלות בסקרים השונים דומות? שאלות כאלו עשויות לשכלל את המודל עוד יותר.

    השבמחק
    תשובות
    1. Iddan,

      למעשה, ככל שהתלות בין הסקרים השונים נמוכה יותר, כתוצאה משימוש במתודולוגיות שונות, היתרון בגישה כמו שלנו רק גדל. אם כל הסקרים היו זהים בשיטותיהם, הערך המוסף בניתוח-העל היה מוגבל.
      באופן כללי, ב"שכלול" המודל יש לנקוט משנה זהירות, שכן ככל שמוסיפים פרמטרים נוספים שדורשים כיול, כוח החיזוי נפגע.

      מחק
  4. אריאל1/1/13 21:35

    שתי שאלות:

    1. כיצד אתם מקבלים את המידע באשר למתודולוגיה של הסקרים השונים?

    2. קראתי במקום מסוים שרוב הסוקרים בישראל עורכים את הסקרים רק בקרב מחזיקי טלפונים נייחים, ושיש להם שיטות שבעזרתן הם מצליחים לחפות על ההטיה שההחלטה הזאת יוצרת.

    א. עד כמה זה אפשרי באמת לחפות על ההטיה הזאת?
    ב. עד כמה יש בזהות הזאת בין הסקרים כדי להטות גם את התחזית שלכם?

    תודה!

    השבמחק
  5. אנונימי4/1/13 00:18

    מה המצב של ארץ חדשה?

    השבמחק
  6. אנונימי4/1/13 14:53

    אני חושב שלבני צריכה להיות בגוש המרכז. היא מוכנה ללכת לקואליציה עם הליכוד וחלק גדול מהמפלגה שלה הוא יוצאי קדימה. מצביעי לפיד, התנועה וקדימה באים מאותו גוש.
    תודה

    השבמחק