Методика подсчёта очков Daatan

Основной рейтинг Daatan — ELO: с него начинаются и таблица лидеров, и каждый профиль. Рядом с ним сайт показывает две простые проверки — точность и калибровку (Brier Score). Остальные системы на этой странице, в первую очередь Glicko-2, по-прежнему считаются и доступны через API, но больше не отображаются. Любую систему, кроме исходного «рейтинга репутации», можно отфильтровать по одной теме в таблице лидеров.

Измеряет, насколько заявленная пользователем степень уверенности соответствует тому, что произошло на самом деле: квадрат расстояния между вероятностью, которую указал пользователь, и фактическим результатом. Чем ниже балл — тем лучше; идеальный прогноз получает 0 баллов.

brierScore = (вероятность − результат)²

Например: пользователь оценил вероятность в 75%, что прогноз сбудется, и это действительно произошло — он получает балл (0,75−1)² = 0,0625. Если бы это не произошло, балл был бы (0,75−0)² = 0,5625 — в девять раз хуже, потому что высокая уверенность и ошибка наказываются квадратично.

Когда два пользователя делают ставку на один и тот же прогноз, тот, кто ближе к истине (у кого ниже Brier Score), забирает очки ELO у другого — та же система, что используется в шахматах. Чем выше рейтинг — тем лучше.

Например: пользователь с рейтингом 1500 побеждает пользователя с рейтингом 1600 — он получает около 20,5 очка и поднимается до 1520,5. Если бы он проиграл, он потерял бы всего около 11,5 очка — поражение от более сильного соперника стоит дешевле.

Glicko-2 отслеживает не только оценку мастерства (μ), но и степень неопределённости системы в этой оценке (σ). Таблица лидеров ранжирует по μ − 3σ — консервативному порогу, а не по сырой оценке, — чтобы одна удачная догадка не могла обогнать опытного, стабильного прогнозиста. Каждый пользователь начинает с μ=1500, σ=350.

Например: новый пользователь, сделавший один верный и уверенный прогноз (Brier Score 0,04), достигает μ≈1649, σ≈290 — то есть рейтинг μ−3σ ≈ 778, всё ещё ниже стартовой точки (1500). Только по мере накопления новых верных прогнозов и уменьшения σ настоящий рейтинг начнёт расти. В этом и заключается гарантия Glicko-2: объём и стабильность побеждают единичную удачную догадку, какой бы успешной она ни была.