Brier score là trung bình của bình phương sai số giữa xác suất bạn nói và kết quả thực tế (1 nếu xảy ra, 0 nếu không); càng gần 0 càng tốt, và mốc 0.25 là mức của người luôn nói 50/50. Bạn không cần phần mềm: chỉ cần một bảng ghi lại xác suất trước trận, kết quả sau trận và một máy tính cầm tay. Bài này dẫn từng bước cách xây bảng chấm điểm và tính tay, kèm một ví dụ 10 dự đoán giả định để bạn đối chiếu.
Vì sao chỉ đếm số lần đoán trúng là chưa đủ
Đoán trúng 7 trên 10 trận nghe ổn, nhưng nếu bạn nói “chắc chắn” ở cả 10 lần thì 3 lần sai phải bị phạt nặng hơn nhiều so với người nói “khoảng 60%”. Số lần trúng không phân biệt được hai cách nói này. Brier score thì có, vì nó phạt cả sự tự tin sai chỗ lẫn sự rụt rè quá mức. Đó là lý do nó phù hợp để đánh giá các dự đoán có kèm xác suất.
Bước 1: dựng bảng ghi chép
Bảng tối thiểu gồm bốn cột: trận, xác suất bạn đã nói cho một kết quả cố định (ví dụ “đội A thắng”), kết quả thực tế (1 hoặc 0) và điểm sai số. Quy tắc quan trọng là phải ghi xác suất trước khi trận diễn ra và không sửa lại sau đó.
- Chọn một kết quả cố định để chấm, ví dụ “đội được nhắc tên đầu tiên thắng”.
- Ghi xác suất dạng thập phân từ 0 đến 1.
- Sau trận ghi 1 nếu kết quả xảy ra, 0 nếu không.
- Tính (xác suất − kết quả)² cho từng dòng, rồi lấy trung bình.
Bước 2: tính tay với 10 dự đoán giả định
Dữ liệu dưới đây là giả định minh hoạ, không gắn với trận thật nào.
| Dự đoán | Xác suất đã nói (đội A thắng) | Thực tế A thắng? | Điểm Brier từng dự đoán |
|---|---|---|---|
| 1 | 0.70 | Có | (0.70 − 1)² = 0.0900 |
| 2 | 0.55 | Không | (0.55 − 0)² = 0.3025 |
| 3 | 0.80 | Có | (0.80 − 1)² = 0.0400 |
| 4 | 0.40 | Không | (0.40 − 0)² = 0.1600 |
| 5 | 0.65 | Có | (0.65 − 1)² = 0.1225 |
| 6 | 0.30 | Không | (0.30 − 0)² = 0.0900 |
| 7 | 0.60 | Có | (0.60 − 1)² = 0.1600 |
| 8 | 0.75 | Không | (0.75 − 0)² = 0.5625 |
| 9 | 0.50 | Có | (0.50 − 1)² = 0.2500 |
| 10 | 0.20 | Không | (0.20 − 0)² = 0.0400 |
Tổng các điểm sai số là 1.8175, chia cho 10 được Brier score = 0.182. Để so, người luôn nói 50/50 sẽ đạt đúng 0.25. Điểm 0.182 thấp hơn nên bộ dự đoán này có mang thông tin, dù chỉ 10 mẫu là quá ít để kết luận chắc.
Để ý hai dòng đau nhất: dự đoán 8 nói 0.75 nhưng không xảy ra, mất 0.5625; dự đoán 10 nói 0.20 và đúng là không xảy ra, chỉ mất 0.04. Sai khi tự tin cao tốn kém gấp nhiều lần sai khi dè dặt.
Bước 3: so với mốc tham chiếu
Con số 0.182 chưa nói lên nhiều nếu không có mốc so sánh. Bảng sau đặt nó cạnh các mốc quen thuộc:
| Điểm Brier trung bình (hai kết quả) | Cách hiểu |
|---|---|
| 0.00 | Hoàn hảo: luôn nói chắc chắn đúng điều xảy ra (gần như không có trong thực tế) |
| 0.25 | Mức của người luôn nói 50/50, tức không mang thông tin |
| 0.24 | Mức của người luôn nói 0.60 khi tần suất thực là 60% (ví dụ tính tay ở dưới) |
| 0.182 | Điểm của 10 dự đoán ở bảng trên |
| 1.00 | Tệ nhất: luôn chắc chắn nhưng luôn sai |
Trong mẫu giả định này, đội A thắng đúng 50% số trận, nên mốc “luôn nói đúng tần suất chung” trùng với mốc 50/50 là 0.25. Dự đoán của bạn (0.182) thấp hơn mốc đó rõ rệt, tức là có thêm thông tin so với việc chỉ nhìn tần suất. Số trận đúng nếu làm tròn quanh 0.5 là 8/10, nhưng con số này giấu mất mức tự tin của từng dự đoán.
Khi mẫu lớn hơn, hai mốc này sẽ tách nhau. Ví dụ nếu đội chủ nhà thắng 60% số trận trong mẫu, người luôn nói 0.60 đạt 0.6 × 0.16 + 0.4 × 0.36 = 0.24, thấp hơn một chút so với 0.25. Khoảng cách nhỏ ấy cho thấy mốc tần suất là ngưỡng khó vượt hơn mốc 50/50, và là phép thử công bằng hơn cho dự đoán của bạn.
Một cách kiểm tra bổ sung là chia dự đoán thành nhóm theo mức tự tin. Nếu những lần bạn nói khoảng 0.70 chỉ xảy ra 4 trên 10 lần, bạn đang quá tự tin; nếu xảy ra 7 trên 10 lần thì xác suất bạn nói đã khớp với thực tế. Đây gọi là độ hiệu chuẩn (calibration), và nó bổ sung cho Brier score vì điểm tổng không cho biết bạn sai theo hướng nào.
Mở rộng sang kèo ba kết quả
Với 1X2, mỗi dự đoán có ba xác suất. Brier ba kết quả là tổng bình phương sai số của cả ba ô, nằm trong khoảng 0 đến 2. Mốc “không biết gì” (1/3 cho mỗi ô) có điểm 0.667.
| Trường hợp (giả định) | Xác suất A / hòa / B | Kết quả thật A / hòa / B | Brier ba kết quả |
|---|---|---|---|
| Dự đoán 1 (A thắng) | 0.50 / 0.28 / 0.22 | 1 / 0 / 0 | 0.3768 |
| Dự đoán 2 (hòa) | 0.35 / 0.30 / 0.35 | 0 / 1 / 0 | 0.7350 |
| Dự đoán 3 (B thắng) | 0.60 / 0.25 / 0.15 | 0 / 0 / 1 | 1.1450 |
Trung bình ba dự đoán là 0.7523. Lưu ý rằng thang này khác thang hai kết quả, nên đừng so điểm của hai kiểu với nhau. Muốn đơn giản, hãy chọn một kiểu và giữ nó xuyên suốt.
Cách dùng điểm số cho khỏi tự lừa mình
- Cần ít nhất vài chục dự đoán trước khi rút kết luận; 10 mẫu chỉ để học cách tính.
- Không chọn lọc: ghi cả những trận bạn không tự tin.
- Chấm theo từng nhóm xác suất (khoảng 0.5 đến 0.6, 0.6 đến 0.7…) để biết bạn có tự tin thái quá không.
- Mọi phép tính ở trên đã được kiểm lại bằng Python, nhưng bạn vẫn nên tự bấm máy một lần.
Cuối cùng, Brier score đo chất lượng dự đoán, không phải lợi nhuận của bất kỳ hoạt động nào liên quan đến cá cược. Nội dung chỉ mang tính tham khảo kiến thức; người dưới 18 tuổi không nên tham gia cá cược, và không ai nên coi điểm số tốt là bảo đảm kết quả tương lai.