Siti web chiudono le porte agli agenti AI: una nuova frontiera nella guerra digitale?

I siti web stanno chiudendo le porte agli agenti AI, e non solo in Italia. La questione è complessa, tra protezione dei contenuti e visibilità online.

In Italia, quasi la metà dei grandi editori sta bloccando i bot AI. L'Osservatorio AI Block Italia, lanciato da AvantGrade, rileva che una testata su quattro blocca questi agenti direttamente dal firewall. Tra le testate più aperte ci sono Adnkronos, Il Giornale, Il Fatto Quotidiano e Tuttosport, mentre Il Sole 24 Ore, Il Messaggero, Leggo.it e RaiNews risultano più restrittivi. Le pubblicazioni sulle testate online italiane che bloccano i bot di ricerca AI rischiano di penalizzare la visibilità GEO, come emerge dall'analisi di Avantgrade.com.

A livello internazionale, la situazione è simile. Il 15% dei 740 principali siti web del mondo blocca GPTBot tramite il file robots.txt, e circa altrettanti bloccano ClaudeBot (14%) e Google-Extended (13%). Il 13% blocca almeno un agente che risponde direttamente agli utenti, come OAI-SearchBot, ChatGPT-User, i bot di Perplexity o Claude-User. Molti siti bloccano i crawler AI senza saperlo, perché il loro firewall o CDN li considera traffico sospetto. Gli agenti AI vengono bloccati anche quando svolgono un lavoro legittimo, e molti sono bloccati da Cloudflare prima che una richiesta raggiunga il sito, perché il web tende a trattare l'automazione sconosciuta come colpevole fino a prova contraria.

Un esempio recente è Amazon, che ha iniziato a bloccare l'agente Muse AI di Meta dal suo sito di vendita al dettaglio, impedendogli di navigare o effettuare acquisti dal catalogo prodotti. Non è un caso isolato, con segnalazioni sui social media di agenti che incontrano blocchi simili. Alcuni sono intenzionali, come quello di Amazon, altri sono il risultato di misure anti-bot tradizionali progettate per proteggere da spam e attività dannose.

Il problema non riguarda solo la navigazione. OpenAI ha dichiarato di aver scoperto oltre cento aziende i cui sistemi potrebbero essere stati colpiti da agenti che hanno aggirato i controlli di accesso, usato credenziali esposte e in alcuni casi modificato siti web esterni, incluse pagine pubbliche usate come bacheche improvvisate che hanno richiesto interventi di pulizia.

Molti negozi online presentano ancora ostacoli concreti per gli agenti AI, come carenze nelle informazioni su spedizioni, annullamenti e resi, oltre a problemi nell’uso dei dati strutturati. Anche un sito tecnicamente compatibile può portare a errori durante l’acquisto.

Ogni sito web mantiene un file robots.txt alla sua radice, che può essere aperto come testo normale. Questo file segue il Robots Exclusion Protocol e ogni gruppo inizia con una riga user agent che nomina il crawler a cui si rivolge, come GPTBot o Claud.

Il mio commento: La tensione tra la necessità di proteggere i contenuti e il desiderio di visibilità è palpabile. Da un lato, la chiusura agli agenti AI è una risposta comprensibile ai rischi di violazione e uso improprio dei dati, come dimostrato dai casi di agenti che modificano siti esterni. È una mossa difensiva per salvaguardare l'integrità delle piattaforme e la proprietà intellettuale. Dall'altro lato, bloccare questi bot può penalizzare la visibilità, soprattutto per gli editori che dipendono dal traffico generato dalle ricerche. La sfida è trovare un equilibrio, distinguendo tra agenti dannosi e quelli che potrebbero potenzialmente migliorare l'interazione e l'accessibilità dei contenuti. La situazione attuale evidenzia come il web non sia ancora pienamente "agentico", con molte piattaforme che non sono strutturate per gestire in modo fluido l'interazione con l'intelligenza artificiale.