Costruire un benchmark per l'IA aziendale ha cambiato il modo in cui valuto l'IA

Un'analisi di CIO.com ha evidenziato come la valutazione dei modelli di intelligenza artificiale (IA) in ambito aziendale debba superare il semplice benchmarking isolato. Secondo l'articolo, il successo dell'IA in azienda dipende dall'architettura che circonda il modello, che deve fornire il contesto giusto in modo sicuro e affidabile.

L'autore, che in passato ha lavorato alla costruzione di sistemi di database, ha osservato come i benchmark tradizionali possano portare a ottimizzazioni mirate solo al test, anziché all'ambiente di produzione. Per questo, è stato sviluppato "Enterprise-Bench", un benchmark che simula le condizioni reali in cui l'IA deve operare. La difficoltà maggiore non è il ragionamento del modello, ma fornirgli il contesto affidabile e pertinente, senza sovraccaricarlo di dati irrilevanti o violare permessi.

L'analisi ha rivelato che la capacità di un modello di rispondere a domande complesse dipende dalla sua abilità di connettere informazioni sparse tra diversi sistemi aziendali, rispettando permessi e stati attuali. Spesso, ciò che sembra un errore del modello è in realtà un fallimento dell'integrazione tra le diverse applicazioni. Un sistema di memoria strutturato, capace di gestire relazioni e permessi vicino ai dati, si è dimostrato molto più efficace, riducendo anche il consumo di token.