Integrazione efficiente di informazioni strutturali nei modelli linguistici proteici con miscela implicita di esperti ProBEiT

Un nuovo studio pubblicato su Nature Machine Learning ha introdotto ProBEiT, un'architettura multimodale che integra in modo efficiente le informazioni strutturali nei modelli linguistici proteici. Questo modello, con 400 milioni di parametri, è stato addestrato su 1,7 milioni di proteine di AlphaFoldDB. La ricerca dimostra che ProBEiT supera i modelli di base più grandi in sei diversi compiti di previsione di fitness e annotazione funzionale, mostrando una comprensione migliorata delle relazioni tra sequenza, struttura e funzione delle proteine.

A differenza dei modelli esistenti su scala di miliardi di parametri, ProBEiT raggiunge un'elevata precisione già nelle prime fasi dell'addestramento continuo, riducendo i costi computazionali. In un esperimento di ingegneria della termostabilità su un enzima specifico, la glicerolo-3-fosfato ossidasi, ProBEiT ha identificato correttamente varianti ottimizzate con effetti epistatici positivi. Questi risultati suggeriscono che l'accoppiamento stretto del contesto strutturale con la modellazione della sequenza, all'interno di un framework specializzato per la modalità, permette un'ingegneria proteica efficiente e ad alte prestazioni. Il progetto è stato supportato da diverse commissioni e fondi di ricerca, tra cui la Science and Technology Commission of Shanghai Municipality e la National Natural Science Foundation of China.