Nuovo framework migliora la fiducia nei modelli di cellule virtuali AI

Un nuovo studio di Shift Bioscience, pubblicato su Nature Biotechnology, rivela che i modelli di cellule virtuali basati sull'intelligenza artificiale possono essere più precisi nel prevedere le risposte cellulari a perturbazioni genetiche di quanto si pensasse in precedenza. La ricerca suggerisce che il problema non risiedeva nelle capacità dei modelli, ma nelle metriche di valutazione inadeguate.

Il team ha sviluppato un nuovo framework che include un controllo positivo e una metrica, la "frazione del range dinamico" (DRF), per testare l'efficacia delle misurazioni. Questo ha permesso di distinguere meglio le previsioni significative da quelle meno informative. Molte metriche comuni, come l'errore quadratico medio, sono risultate scarsamente calibrate, specialmente con perturbazioni deboli.

Al contrario, metriche ponderate e basate sul rango, come WMSE e NIR, hanno mostrato una calibrazione più elevata. Utilizzando queste metriche migliorate, nove modelli di deep learning, tra cui scGPT e GEARS, hanno superato i baselines non informativi, mentre sistemi più recenti come PRESAGE e scLambda hanno mostrato prestazioni ancora più forti.