המודלים מדייקים כמו השוק ועדיין מפסידים: מה מבחני החיזוי מלמדים את מי שקונה חיזוי מבוסס AI

בשעה 21:40 בערב יום הבחירות לכנסת, 27 באוקטובר, נראה היה שהעניין כמעט סגור. בשוק של פולימרקט שעסק בשאלה איזו מפלגה תזכה במספר המושבים הגדול ביותר, שוק שצבר עד סגירתו נפח מסחר של כ-17 מיליון דולר, נסחר ה"כן" של הליכוד ב-32.5 סנט. במונחים של שוק תחזיות, זו הסתברות של כשליש. בבוקר אותו יום הוא עמד על 27.5 סנט בלבד, ומפלגת ישר! של גדי איזנקוט נסחרה סביב 71.5 סנט.

בעשר בדיוק נסגרו הקלפיות ועלו סקרי המדגם, ובערוץ 12, בערוץ 13 וב-i24 הליכוד הופיע במקום הראשון. ב-22:05 כבר עמד מחיר הליכוד על 73.5 סנט. בשתיים בלילה עבר את ה-97, ובבוקר שאחרי התייצב סביב 99. אחרי ספירת הקולות קיבל הליכוד 27 מושבים וישר! 21, והשוק הוכרע לטובת הליכוד. את כל המחירים האלה אפשר לשלוף מנתוני המסחר הציבוריים של הפלטפורמה, שעה אחר שעה.

יש בסיפור הקטן הזה שני שיעורים, והם מושכים לכיוונים הפוכים. הראשון: ההמון טעה, ובביטחון. מ-14 באוקטובר ועד ערב הבחירות לא עלה מחיר הליכוד בשוק הזה מעל כ-42 סנט. בחלק גדול מהסקרים שפורסמו בשבוע האחרון, ובהם סקר N12 מ-21 באוקטובר שנתן לישר! 23 מושבים מול 19 לליכוד, הובילה מפלגתו של איזנקוט, והשוק הלך אחרי הסקרים. (בשפה הסתברותית, סיכוי של כשליש לאירוע שבסוף קרה אינו טעות במובן החמור, כי דברים שסיכוייהם שליש קורים כל הזמן. הבעיה היא שהמחיר לא שיקף ידע עצמאי, אלא בעיקר את אותם סקרים.) השני: ברגע שהגיע מידע חדש ואיכותי, השוק עיכל אותו בתוך דקות. שתי התכונות האלה, העיוורון המשותף והמהירות, הן בדיוק מה שנבחן כשמעמידים מודל AI מול שוק תחזיות.

והשאלה הזאת כבר מזמן איננה תרגיל אקדמי. ביום שני השבוע יצאה מהסתר 42AI, חברה ישראלית שמוכרת לברוקרים מודל שחוזה התנהגות של סוחרים, עם גיוס של 62.5 מיליון דולר ונתון דיוק של 98%. אתמול הצביעו האמריקאים בבחירות לאמצע הקדנציה, ולפי CNN נסחרו עליהן בשווקי תחזיות יותר מ-1.4 מיליארד דולר עוד לפני השבוע האחרון. והחודש הזה, נובמבר 2026, הוא בדיוק המועד שבו מכון המחקר FRI העריך, בתחילת השנה, שמודלי שפה ישתוו לחזאי-העל האנושיים. כבר כתבנו כאן על כלי AI לניתוח שווקי תחזיות. הפעם השאלה רחבה יותר.

הקריאה הרווחת פשוטה: המודלים סוגרים את הפער, ובקרוב יעקפו גם את השוק. הקריאה הזאת לא שגויה, אבל היא מחמיצה את הנקודה. המבחנים מראים שהמודלים כבר מדייקים בערך כמו השוק, ויחד עם זאת רובם מפסידים כסף כשהם מנסים לסחור מולו. הסתירה הזאת אינה תקלה במבחנים אלא המפתח להבנת מה בדיוק קונים כשקונים "חיזוי מבוסס AI". בהמשך: איך מודדים תחזית, מה מצאו המבחנים, למה המודלים מאחרים דווקא ברגעים המכריעים, ומה כדאי לשאול ספק ישראלי לפני שחותמים.

איך מודדים תחזית, ולמה התשובה כתובה על הלוח

המדד המקובל בתחום הוא ציון Brier, והמנגנון שלו פשוט יותר ממה שנשמע. לוקחים את ההסתברות שהמודל נתן, מחסירים ממנה את התוצאה (1 אם האירוע קרה, 0 אם לא), מעלים בריבוע ומחשבים ממוצע על פני כל השאלות. מודל שאמר 70% והאירוע קרה מקבל על השאלה הזאת 0.09. אם האירוע לא קרה, הוא מקבל 0.49. מי שעונה 50% על כל שאלה, כמו מטבע, יקבל תמיד 0.25. ככל שהציון נמוך יותר, כך התחזית טובה יותר.

המדד השני הוא כיול. מתוך כל הפעמים שהמודל אמר 70%, האם האירוע קרה בערך ב-70% מהמקרים? חזאי מזג אוויר מכויל היטב הוא כזה שבימים שבהם הוא מודיע על 30% גשם, אכן יורד גשם בערך בשליש מהם. כיול טוב איננו ערובה לתחזית טובה: מי שאומר בכל יום בשנה "30% גשם" בעיר שבה יורד גשם בשליש מהימים יהיה מכויל להפליא, ולא יועיל לאף אחד.

וכאן נכנס הפרט שרוב הכותרות מדלגות עליו. במבחן ForecastBench, שמפעיל FRI (Forecasting Research Institute), חלק מהמודלים מקבלים יחד עם השאלה גם את מחיר השוק העדכני שלה. בדוח שפרסם המכון באוקטובר 2025 התברר מה הם עושים איתו: התחזיות של GPT-4.5 היו בקורלציה של 0.994 עם מחירי השוק שקיבל, וב-26 מתוך 122 שאלות הוא פשוט הגיש את מחיר השוק כמו שהוא, כשהסטייה החציונית עמדה על חצי נקודת אחוז. "מודלי השפה גילו קיצור דרך", כתבו במכון.

זה קצת כמו מבחן שבו התשובות של הכיתה כתובות על הלוח. תלמיד שמעתיק מהלוח יקבל ציון זהה לממוצע הכיתה, ואיש לא ילמד מזה דבר על מה שהוא עצמו יודע. בשווקי תחזיות, הלוח הוא המחיר. הדימוי הזה עוד ילווה אותנו, כי הוא מסביר כמעט כל ממצא שיבוא בהמשך, אבל הוא מחמיץ דבר אחד חשוב: הלוח עצמו לא תמיד צודק. בבחירות לכנסת הוא היה כתוב לא נכון במשך כשבועיים.

ציון זהה לשוק אינו הישג. זו נקודת ההתחלה.

שוויון בדיוק, הפסד בקופה

המבחן הראשון שכדאי להכיר הוא Prophet Arena, שבנו חוקרים מאוניברסיטת שיקגו והוצג בכנס ICLR 2026. הרעיון: לשלוף אירועים שעוד לא הוכרעו מתוך הבורסה האמריקאית לחוזי אירועים קלשי, לבקש מהמודלים הסתברויות, ולחכות לתוצאה. המאמר מנתח 1,367 אירועים שהוכרעו עד 11 באוקטובר 2025, וכשלושה רבעים מהם הם אירועי ספורט. בטבלה המרכזית קיבל GPT-5 ציון Brier של 0.184, מעט טוב מהשוק עצמו, שקיבל 0.187. מרווחי הטעות חופפים, ולכן החוקרים מדברים על ביצועים "דומים" לשוק. בכיול, כל המודלים שבטבלה עקפו את השוק.

עד כאן, זה נשמע כמו ניצחון. אחר כך החוקרים בדקו מה היה קורה אילו מישהו היה מהמר לפי התחזיות. לפי מדד התשואה הממוצעת של המאמר, GPT-5, המודל המוביל, החזיר כ-94 סנט על כל דולר, ולפי המאמר "גם המודל המדורג ראשון לא מגיע לנקודת האיזון", ורוב המודלים נפלו מתחת ל-90 סנט. כדאי לדייק: גם אסטרטגיה שמהמרת לפי מחיר השוק עצמו החזירה במבחן הזה כ-90 סנט בלבד, כך שחלק מההפסד נובע משיטת ההימור ולא מהמודלים. ועדיין, המודל הטוב ביותר בדיוק לא הצליח להפוך את הדיוק הזה לרווח.

המבחן השני, Prediction Arena, הלך צעד אחד רחוק יותר ונתן לשישה מודלים מובילים 10,000 דולר אמיתיים כל אחד, כדי לסחור באופן עצמאי בקלשי ובפולימרקט במשך 57 ימים, בין 12 בינואר ל-9 במרץ 2026. בקלשי, כל השישה הפסידו: התשואות הסופיות נעו בין מינוס 16% למינוס 30.8%, בממוצע מינוס 22.6%. בפולימרקט ההפסד הממוצע היה מתון בהרבה, מינוס 1.1%. לפי החוקרים, מה שהכריע את התוצאות היה דיוק התחזית ההתחלתית והיכולת לממש תחזית נכונה. היקף המחקר שהמודל ביצע לפני כל עסקה לא נמצא קשור לתוצאה.

המבחן השלישי, PolyBench, פורסם באפריל. החוקרים בנו "צילומי מצב" מוקפאים בזמן של 38,666 שווקים בינאריים בפולימרקט, כל אחד עם מצב ספר הפקודות ועם זרם חדשות מאותו רגע, ונתנו לשבעה מודלים לחזות ולסחור בסימולציה. רק שניים, MiMo-V2-Flash ו-Gemini-3-Flash, סיימו ברווח. חמשת האחרים הפסידו, לפי לשון המאמר, "למרות ביטחון גבוה באופן אחיד" בתחזיות שלהם. ההסתייגות כאן ברורה: מדובר בסימולציה של ביצוע, על חלון זמן של שבוע אחד בפברואר.

איך מודל יכול לדייק כמו השוק ועדיין להפסיד? התשובה טמונה במתמטיקה של המסחר עצמו. כדי להרוויח, לא מספיק לצדוק. צריך לחלוק על המחיר, ולצדוק יותר ממנו, בפער שמכסה גם את המרווח בין הקנייה למכירה ואת העמלות. מודל שמסכים עם המחיר לא יכול להרוויח מעצם הגדרתו. מודל שחולק עליו, בשוק סחיר ויעיל, טועה ברוב המקרים. מי שרוצה לראות כמה רחוק המרחק בין תחזית טובה לבין מסחר שמחזיק מעמד יכול לעיין בסדרת מדריכים בעברית על בניית בוט לשווקי תחזיות, שפותחת דווקא בבדיקת מציאות ומקדישה פרקים שלמים לניהול סיכונים ולמסחר על הנייר לפני כל כסף אמיתי. מסחר כזה כרוך בסיכון ממשי להפסד, ואת המצב המשפטי והמיסויי בישראל כל אחד צריך לבדוק בעצמו.

דיוק הוא מה שהמודל יודע. רווח הוא מה שהוא יודע והמחיר לא.

המירוץ מול השעון

הממצא המעניין ביותר ב-Prophet Arena לא נמצא בטבלה המרכזית אלא בגרף שמפרק את הדיוק לפי הזמן שנותר עד ההכרעה. כשהתחזית נעשית הרבה זמן מראש, כמה מהמודלים המובילים דווקא עוקפים את השוק. ככל שמועד ההכרעה מתקרב, התמונה מתהפכת. "השווקים מטמיעים חדשות מתפרצות ועדכונים מהר יותר ממודלי השפה", כתבו החוקרים, "ועוקפים אותם במהירות בדיוק לטווח קצר". בתקציר המאמר הם מונים את "צבירת המידע האיטית" לעומת השוק כאחד משלושה צווארי בקבוק מרכזיים של המודלים.

ממצא שני מסביר חלק מהפער. המודלים, לפי המאמר, מוציאים באופן עקבי הסתברויות שמרניות יותר מהשוק. Llama 4 Scout, למשל, נשאר מהוסס גם כשהשוק כבר מתמחר ודאות כמעט מלאה, ורק לעיתים רחוקות מגיע לתחזיות קיצוניות באותה מידה. גם GPT-5 ו-Grok 4 זהירים, אבל עוקבים אחרי השוק מקרוב יותר. כך נולד פער שקל לפספס: ברגעים שבהם המידע כבר הכריע, המודל עדיין מתלבט, ומי שמסתמך עליו מפסיד בדיוק בשלב שבו השוק כבר "יודע".

פרט מתודולוגי אחד ראוי לתשומת לב. המאמר מוציא מהניתוח את כל התחזיות שנעשו בשלוש השעות האחרונות לפני ההכרעה. זו החלטה סבירה, כי היא מונעת מצב שבו מודל "חוזה" תוצאה שכבר פורסמה. היא גם אומרת שהחלון הדרמטי ביותר, זה שבליל הבחירות בישראל נמשך 25 דקות, כלל איננו נמדד. שם, בין 21:40 ל-22:05, השוק עבר מכשליש ליותר משבעים אחוז. השאלה כמה זמן היה לוקח למודל שמתעדכן מתוך חיפוש ברשת לעשות את אותו הדבר נשארת פתוחה.

המחקר שהכריז על שוויון

כדי להבין למה החודש הזה מעניין, צריך לחזור לסיפור של ForecastBench. ב-FRI יצאו לבדוק שאלה שנשמעת פשוטה: כמה רחוקים מודלי שפה מחזאי-העל, אותם מנבאים אנושיים מצטיינים שזוהו בפרויקטים של Good Judgment. בדוח מאוקטובר 2025 קיבלו חזאי-העל ציון Brier מתוקנן לקושי של 0.081, מול 0.101 של GPT-4.5, המודל המוביל אז. החוקרים מדדו שיפור של כ-0.016 נקודות בשנה אצל המודלים המובילים, ומתחו קו.

בסוף ינואר 2026 הפער כבר ירד ל-0.017 נקודות, ובמקום השני בטבלה, צמודים לחזאי-העל, ישבו Grok 4.20 של xAI ומערכת של חברה בשם Cassi. המכון העריך אז שהשוויון יגיע בנובמבר 2026, עם טווח ביטחון של 95% שנמתח בין ינואר 2026 לנובמבר 2027. ב-16 ביולי כבר פרסם המכון פוסט שכותרתו קובעת שמודלי AI "ככל הנראה הגיעו לשוויון" עם חזאי-העל. לפי הפוסט, המערכת של Cassi הייתה מערכת ה-AI המובילה בטבלת הטורניר, ההבדל בינה לבין חזאי-העל אינו מובהק סטטיסטית, ולראשונה מערכת AI דורגה מעל חציון חזאי-העל גם בשאלות שמקורן בשווקי תחזיות.

שמונה ימים אחר כך הגיעה התגובה. ב-Good Judgment, החברה שסיפקה את חזאי-העל למחקר, פרסמו פוסט בשם "לא כל כך מהר". הטענה המרכזית: ההשוואה מעמידה מערכות AI שמשתפרות כל הזמן מול "תמונת מצב קפואה מיולי 2024" של חזאי-על בודדים, שעבדו ברובם לבד, בעוד שהשיטה שלהם נשענת על דיון ועדכון בצוות. עוד באפריל טענה החברה שבשאלות השוק לבדן חזאי-העל קיבלו ציון של כ-0.039 מול כ-0.059 למערכת ה-AI הטובה ביותר, שגיאה גדולה בכחצי. וב-Good Judgment מזכירים את מה שהמכון עצמו מצא על ההעתקה מהלוח, ושואלים אם המערכות המובילות באמת חוזות או רק "מקבצות מחירי שוק עם צעדים נוספים".

שני הצדדים כאן אינם ניטרליים לגמרי, וזה לא מבטל את הטיעונים של אף אחד מהם. ל-Good Judgment יש אינטרס מסחרי ברור, כי היא מוכרת שירותי חיזוי אנושיים. ב-FRI, מצידם, כתבו בעצמם שההשוואה נשענת על אקסטרפולציה סטטיסטית שהופכת פחות אמינה עם הזמן, ושהתוצאות "סטוכסטיות מטבען". הם גם הודיעו על סבב חדש של חזאי-על בסתיו 2026. עד שיתפרסם, טענת השוויון היא סבירה, לא מוכחת.

ויש עוד פרט שחשוב לא פחות. חלק מהשאלות שעליהן נמדד השוויון אינן שאלות על העולם הפתוח אלא שאלות שנוצרות אוטומטית מתוך מאגרי נתונים כמו נתוני הפדרל ריזרב או ויקיפדיה. זה מבחן לגיטימי, אבל הוא שונה מאוד מהשאלה שמנהל ישראלי מביא לשולחן: האם הלקוח הגדול יחדש את החוזה ברבעון הבא, או מה יקרה למחיר חומר הגלם אם המצב בצפון יחריף.

השוויון אמיתי, אבל הוא נמדד על המבחן, לא על העבודה.

החוכמה של ההמון, והעיוורון שלו

הרעיון שהמון יכול לדעת יותר מהיחידים שבו ותיק בהרבה מהבינה המלאכותית. ב-1907 פרסם המדען הבריטי פרנסיס גלטון בכתב העת Nature רשימה קצרה על תחרות ביריד כפרי, שבה ניחשו המבקרים את משקלו של שור. החציון של כ-800 הניחושים סטה מהמשקל האמיתי בפחות מאחוז. מאז ועד שווקי התחזיות של היום, ההסבר נשאר דומה: כשכל אחד טועה בכיוון אחר, הטעויות מבטלות זו את זו.

התנאי הזה, טעויות בלתי תלויות, הוא בדיוק מה שנשבר בליל הבחירות. הסוחרים בפולימרקט לא ניחשו כל אחד לבד. רובם קראו את אותם סקרים, ראו את אותן כותרות, ושמעו את אותם פרשנים. כשהסקרים הציבו את ישר! לפני הליכוד, ההמון ירש את הטעות שלהם, ולא ביטל אותה. מכאן עולה מסקנה לא נוחה למי שבונה מודל שקורא את מחיר השוק: הוא יורש את אותו עיוורון בדיוק. מעתיק מהלוח קיבל באותו ערב את אותה תשובה שגויה כמו הכיתה כולה.

הצד השני של אותו מטבע הוא שההמון מצטיין בעיכול מידע חדש. כשהגיעו סקרי המדגם, מקור שאיש לא החזיק בו קודם, המחיר זינק בתוך דקות. יתרון אמיתי, של אדם או של מודל, נמצא בדיוק שם: במידע שהשוק עוד לא ראה, או במידע שהוא ראה ולא נתן לו משקל נכון. ככל שהמודל נשען יותר על אותם מקורות שכולם קוראים, כך קטן הסיכוי שיש לו משהו להוסיף למחיר.

ההמון חכם כשהוא חושב לבד. כשכולם קוראים את אותו סקר, הוא סקר עם מחיר.

הזווית הישראלית: מי מוכר כאן חיזוי

בישראל, כמו בכל מקום, המילה "חיזוי" הפכה בשנה האחרונה למילת מכירה. הדוגמה הטרייה ביותר היא 42AI, שיצאה מהסתר ביום שני. לפי TechCrunch ו-Unite.AI, החברה גייסה 62.5 מיליון דולר בסבב סיד, מהמייסדים ומקבוצת Infinity לאורך שלוש שנים, וגל-אור ציין שהסכום לא גויס כולו ממשקיעים חיצוניים. המנכ"ל הוא עמית גל-אור, ה-CTO הוא אהוד עזרא. המוצר, שהחברה מכנה "מודל עולם התנהגותי", חוזה כיצד סוחרים בודדים יגיבו בתנאי תנודתיות, ולפי החברה הוא פועל אצל עשרה ברוקרים גדולים, לניהול נזילות, דרישות בטחונות וגידור.

הנתון שבלט בכותרות הוא 98% דיוק. גל-אור הבהיר ל-TechCrunch שהנתון מודד אם זרמי המסחר נופלים בתוך טווח חזוי, ולא אם כל עסקה בודדת נחזתה נכון. לחיזוי כיוון ונפח המסחר מדווחת החברה על ציון F1 של 0.8 עד 0.85. גל-אור גם הודה בגבול מובנה: "יש תקרה טבעית, כי אין לך גישה לכל מה שאדם חווה", אמר. אין בהגדרה הזאת שום פסול. זו הגדרה לגיטימית של הצלחה, כל עוד מי שקונה יודע מה היא מודדת ומול מה. ובדיוק כאן נמצאת השאלה שמבחני החיזוי מלמדים לשאול: מה היה הציון של כלל פשוט על אותו טווח? בדיווחים שקראנו, השוואה כזאת לא פורסמה.

42AI איננה פועלת בשווקי תחזיות, ומה שהיא חוזה שונה מאוד משאלות כמו "מי תזכה במירב המושבים". ובכל זאת, שאלת קו הבסיס זהה. היא נכונה גם לכלים כמו StrikeRadar, לוח מחוונים שעליו דיווח Ynet בתחילת השנה, שבנה מנהל המוצר יונתן בק בעזרת Claude, ושמחשב בזמן אמת את הסבירות לתקיפה אמריקאית באיראן מתוך דיווחי חדשות, ביטולי טיסות, נתוני מזג אוויר ותנועת מטוסי תדלוק. בק הציג אותו כחלופה "אובייקטיבית" לשווקי תחזיות, שלפי הכתבה מושפעים מרגש ומאינטרסים כספיים, וקרא לו "כלי תומך בלבד". רשומת ביצועים מתועדת לא הוצגה בכתבה.

לארגונים שקונים, ובעיקר לחברות פינטק ולבתי השקעות, יש גם ממד שני. כשמודל חוזה התנהגות של לקוחות ספציפיים, שאלת הדיוק נפגשת עם שאלות של רגולציה ואתיקה. ב-TechCrunch שאלו את המייסדים של 42AI מה ימנע מברוקר לנצל את התחזיות נגד הלקוחות שלו, ועזרא השיב שזה "חשש לגיטימי". המייסדים הצביעו על רגולציה, ניטור וועדת אתיקה פנימית.

מה ידוע ומה לא

ידוע שבמבחנים שבהם המודלים מקבלים שאלות על העתיד בלבד, המובילים שבהם מגיעים לציוני Brier קרובים מאוד לשוק, ולפעמים מעט טובים ממנו. ידוע שכמה מהם, כשהם מקבלים את מחיר השוק, נוטים להעתיק אותו. ידוע שבשלושה מבחנים שונים, אחד מהם בכסף אמיתי, רוב המודלים לא הצליחו להפוך את הדיוק לרווח. וידוע שהשווקים מתעדכנים מהר יותר מהמודלים ככל שההכרעה מתקרבת.

לא ידוע אם הפער הזה ייסגר בדור הבא של המודלים, ומבחן של 57 ימים או של שבוע אחד לא מסוגל לענות על כך. לא ידוע עד כמה התוצאות תקפות לשאלות שאינן ספורט, פוליטיקה אמריקאית או נתוני מאקרו, ובוודאי לא לשאלות בעברית או על השוק הישראלי, שכמעט אינן מופיעות במבחנים. גם תוצאות BallotBench, מבחן ציבורי שבו לפי Thoughtful Lab קיבלו תשעה סוכני AI תקציב של 500 דולר כל אחד כדי לחזות 863 מרוצים בבחירות בארה"ב, עדיין לא התפרסמו.

ויש נקודת תורפה בכתבה הזאת עצמה, ואנחנו מציינים אותה פעם אחת וישירות: ליל הבחירות בישראל הוא אירוע בודד. הוא ממחיש את המנגנון, אבל לא מוכיח דבר על אמינות השוק בממוצע.

שש שאלות לפני שקונים חיזוי מבוסס AI

מכל זה עולה רשימה קצרה ומעשית, למי שמוכר חיזוי ולמי שקונה אותו. היא מתאימה גם לפיילוט פנימי, ומי שקרא את הכתבה שלנו על פיילוטים של AI שנכשלים יזהה בה כמה מהחשודים המוכרים.

1. מול מה זה נמדד? כל נתון דיוק בלי קו בסיס הוא חצי משפט. לבקש את הציון של החלופה הזולה: מחיר השוק, אם קיים, או כלל פשוט כמו "מה שקרה ברבעון הקודם". בדומה למדידת ROI של AI, השאלה היא תמיד כמה המערכת מוסיפה, לא כמה היא עושה.
2. איזה מדד? "דיוק" של כן ולא מסתיר כמעט הכול. ציון Brier או ציון לוגריתמי, יחד עם גרף כיול, מספרים הרבה יותר. מי שבונה את המדד בעצמו ימצא נקודת פתיחה במדריך שלנו לניתוח נתונים עם AI.
3. על כמה תחזיות? החוקרים שבנו את Foresight Arena חישבו שכדי לזהות יתרון של 0.02 על השוק בעוצמה סטטיסטית של 80%, נדרשות כ-350 תחזיות בינאריות שהוכרעו, ולזיהוי יתרון של 0.01 בערך פי ארבעה. מצגת עם עשר הצלחות מרשימות איננה ראיה.
4. האם המודל ראה את הלוח? אם המערכת מקבלת מחיר שוק, תחזית של אנליסט או כל קונצנזוס אחר, צריך למדוד כמה היא סוטה ממנו, ומה קורה כשהיא סוטה. מערכת שמסכימה תמיד היא מראה, לא חזאי.
5. האם התחזיות נחתמו בזמן? מבחן אמין נשען על תחזיות שנרשמו לפני ההכרעה, עם חותמת זמן שאי אפשר לשנות. ב-PolyBench השתמשו לשם כך במצבי שוק נעולים בזמן. תוצאות היסטוריות שמודל "חוזה" בדיעבד חשופות לזיהום נתונים.
6. מה קורה קרוב להכרעה? לבקש את הביצועים לפי טווח זמן. אם הערך העסקי נמצא בתגובה מהירה לחדשות, המבחנים מרמזים שדווקא שם המודלים חלשים.

ויש דרך זולה לבדוק את כל זה לפני שמתחייבים. מריצים את תחזיות הספק, או של הצוות הפנימי, במשך כמה חודשים "בצל", בלי שום החלטה אמיתית שתלויה בהן, ומשווים אותן למחיר. מי שרוצה לעשות זאת מול מחירי שוק חיים יכול להיעזר באזור תרגול חינמי עם כסף וירטואלי, שבו כל משתמש חדש מקבל 1,000 דולר מדומים ואין הפקדה של כסף אמיתי. זה כלי ללמידה ולמדידה, לא דרך להרוויח: מסחר אמיתי בשווקי תחזיות כרוך בסיכון ממשי להפסד. מי שבונה את המערכות בעצמו יכול לחבר את הניסוי לסוכנים מנוהלים או להשוות כמה מודלים מובילים על אותן שאלות.

מה שהלוח לא יודע

המבחנים של השנה האחרונה לא מוכיחים ש-AI לא יכול לנצח את ההמון. הם מוכיחים משהו צנוע יותר ושימושי יותר: שדיוק, לבדו, איננו הישג. מודל שמעתיק את המחיר יקבל ציון מצוין ולא יוסיף דבר. מודל שחולק על המחיר יוסיף משהו רק אם יש לו מידע שהשוק עוד לא עיכל, והוא צריך להוכיח זאת על מאות שאלות, לא על כמה סיפורי הצלחה.

יכול להיות שבסבב הבא של ForecastBench, או בתוצאות של BallotBench, התמונה תשתנה, ומודל כלשהו יראה יתרון עקבי ומובהק על השוק. אם זה יקרה, זה יהיה בזכות מידע או שיטה שההמון לא מחזיק, לא בזכות עוד נקודה של דיוק. וזה גם מה שכדאי לזכור בפעם הבאה שספק ישראלי, או כותרת בסקירת המגמות של השנה, יציגו נתון של 98%. בליל הבחירות, בין 21:40 ל-22:05, ההבדל בין מי שצדק למי שטעה לא היה מודל טוב יותר. הוא היה מי שראה ראשון את מה שעוד לא נכתב על הלוח. השאלה לספק, כמו שהראתה גם עסקת Cresta בתחום אחר לגמרי, היא תמיד מי מחזיק בפנקס ומול איזה קו הוא מודד.

שאלות נפוצות

האם מודלי AI כבר חוזים טוב יותר משווקי תחזיות?

בדיוק נטו, לפי ציון Brier, המודלים המובילים כבר דומים לשוק, ולפעמים מעט טובים ממנו, כמו ב-Prophet Arena. בבדיקות של מסחר, בכסף אמיתי או בסימולציה, רובם הפסידו. ככל שמועד ההכרעה מתקרב, השווקים מתעדכנים מהר יותר מהמודלים.

מה ההבדל בין דיוק ליתרון?

דיוק מודד עד כמה התחזית קרובה לתוצאה. יתרון מודד כמה התחזית טובה מהחלופה הזמינה, למשל מחיר השוק. מודל שמעתיק את המחיר יכול להיות מדויק מאוד וחסר יתרון לחלוטין.

איך מחיר בשוק תחזיות הופך להסתברות?

בשוק בינארי, חוזה "כן" משלם דולר אחד אם האירוע קורה ואפס אם לא. מחיר של 32.5 סנט משקף, בקירוב, הערכה קולקטיבית של סיכוי של 32.5%. הסבר מסודר על המנגנון, על סוגי השווקים ועל הסיכונים אפשר למצוא במדריך פולימרקט בעברית. מסחר בשווקים כאלה כרוך בסיכון להפסד.

מה כדאי לבקש מספק ישראלי שמוכר חיזוי מבוסס AI?

קו בסיס להשוואה, מדד כמו Brier במקום "אחוזי דיוק", מספר מספיק של תחזיות שהוכרעו (מאות, לא עשרות), תחזיות עם חותמת זמן מלפני ההכרעה, ופירוק של הביצועים לפי טווח הזמן עד ההכרעה.