Si vuole che la valutazione dell'IA sia una scienza, non un'arte oscura

Moritz Hardt, scienziato informatico e direttore del Max Planck Institute for Intelligent Systems, sostiene che i benchmark per l'intelligenza artificiale, ovvero i test standardizzati per valutarne le capacità, sono fondamentalmente difettosi. Nel suo libro "The Emerging Science of Machine Learning Benchmarks" del 2026, Hardt afferma che questi strumenti, pur avendo contribuito al progresso dell'IA per decenni, hanno perso credibilità nell'era dei grandi modelli linguistici (LLM) come GPT-6 Astra.

Hardt spiega che il metodo tradizionale di valutazione, che prevede la divisione dei dati in un set di training e un set di test, è stato ignorato dalla disciplina stessa, mettendo i set di test a disposizione di tutti. Questo ha portato i modelli a "giocare" con le classifiche senza sviluppare una vera intelligenza.

Il problema, secondo Hardt, è che piccole variazioni nei set di test producono risultati di accuratezza molto diversi, rendendo impossibile capire quanto un modello sia realmente performante. Tuttavia, le classifiche relative tra i modelli rimangono stabili anche con set di dati diversi, il che ha evitato una crisi scientifica nel campo del machine learning.