שיטת הניקוד של דעתן

דעתן מדרג מתחזתים לפי אחת עשרה שיטות ניקוד שונות, וכל אחת בודקת היבט אחר של יכולת חיזוי: דיוק גולמי, כיול (Brier Score), עוצמה מול יריב (ELO), ורמת ביטחון מותאמת אי-ודאות (Glicko-2). כל שיטה, חוץ מ"ניקוד המוניטין" המקורי, אפשר לסנן לפי נושא אחד בלוח המובילים.

מודד עד כמה רמת הביטחון שהמשתמש הצהיר עליה תואמת את מה שקרה בפועל: המרחק בריבוע בין ההסתברות שהמשתמש נתן לבין התוצאה בפועל. ככל שהניקוד נמוך יותר — כך טוב יותר; חיזוי מושלם מקבל ניקוד 0.

brierScore = (הסתברות − תוצאה)²

לדוגמה: משתמש שהעריך 75% שתחזית תתממש, וזה אכן קרה — מקבל ניקוד (0.75−1)² = 0.0625. אילו זה לא היה קורה, הניקוד היה (0.75−0)² = 0.5625 — פי תשעה יותר גרוע, כי ביטחון גבוה וטעות נענשים באופן ריבועי.

כששני משתמשים מתחייבים לאותה תחזית, מי שקרוב יותר לאמת (ניקוד Brier נמוך יותר) לוקח נקודות ELO מהשני — אותה שיטה המשמשת בשחמט. ככל שהדירוג גבוה יותר — כך טוב יותר.

לדוגמה: משתמש בדירוג 1500 מנצח משתמש בדירוג 1600 — הוא מרוויח כ-20.5 נקודות ועולה ל-1520.5. אילו הפסיד, היה מאבד רק כ-11.5 נקודות — הפסד ליריב חזק יותר עולה פחות.

Glicko-2 עוקב לא רק אחרי הערכת המיומנות (μ) אלא גם אחרי רמת אי-הוודאות של המערכת לגביה (σ). לוח המובילים מדרג לפי μ − 3σ — רף שמרני, לא ההערכה הגולמית — כדי שניחוש אחד מוצלח לא יוכל להקדים מתחזת ותיק ועקבי. כל משתמש מתחיל ב-μ=1500, σ=350.

לדוגמה: משתמש חדש שמבצע תחזית אחת נכונה ובטוחה (Brier Score 0.04) מגיע ל-μ≈1649, σ≈290 — כלומר דירוג של μ−3σ ≈ 778, עדיין מתחת לנקודת ההתחלה (1500). רק ככל שיצטברו עוד תחזיות נכונות ו-σ יקטן, הדירוג האמיתי יתחיל לעלות. זו בדיוק הערבות של Glicko-2: נפח ועקביות מנצחים ניחוש בודד, מוצלח ככל שיהיה.