Il 30 ottobre 2026 OpenAI, Google e Microsoft hanno annunciato piani per adottare un segnale condiviso in robots.txt: serve a esprimere una preferenza sull’uso dei contenuti per addestrare modelli generativi, ma non impedisce ai crawler di visitare un sito. Il token proposto è __usage_ai-training e compare in una bozza IETF, non in uno standard definitivo.

Come funziona __usage_ai-training in robots.txt

La bozza colloca il token in un gruppo User-agent di robots.txt. Le direttive Allow e Disallow indicano poi quali percorsi del sito il gestore preferisce rendere disponibili per l’addestramento. Per esempio, la bozza mostra questa forma per esprimere una preferenza di esclusione su tutti i percorsi:

User-agent: __usage_ai-training
Disallow: /

Il token riguarda l’uso dei contenuti per modificare i parametri appresi da un modello generativo. La bozza esclude da questa definizione l’addestramento destinato esclusivamente a compiti non generativi. Se manca un gruppo con quel token, il sito non esprime una preferenza attraverso questo meccanismo; una regola User-agent: * non lo sostituisce. La bozza IETF è un Internet-Draft in lavorazione: il suo stato previsto è “Standards Track”, ma non è uno standard IETF definitivo.

La preferenza non blocca la scansione del sito

robots.txt può contenere regole specifiche per controllare l’accesso dei crawler, ma il token __usage_ai-training non è una direttiva di scansione. Per limitare l’accesso servono regole separate. Inoltre, i sistemi che non implementano il token possono ignorarne il gruppo; la bozza ammette anche che accordi privati prevalgano sulla preferenza. Il segnale non offre quindi un’applicazione tecnica universale né un meccanismo per rimuovere dai modelli contenuti già usati.

I piani annunciati il 30 ottobre hanno scadenze diverse: OpenAI punta a implementare il segnale nei mesi successivi, Google nel corso del 2027 e Microsoft ha indicato il 1° febbraio 2027 come data da cui onorerà le nuove preferenze man mano che esegue la scansione delle pagine. OpenAI, Google e Microsoft hanno descritto i propri piani. Separatamente, il 31 ottobre AFP ha riferito che Anthropic aveva avviato i lavori per implementare il segnale.

Per i siti interessati che usano ancora NoArchive o NoCache, Microsoft ha fissato al 1° marzo 2027 il termine per pubblicare le nuove preferenze. Per mantenere nel frattempo una restrizione sul grounding durante una nuova scansione, Microsoft indica un’impostazione temporanea, che scade entro il 30 settembre 2027 o prima se la pagina viene nuovamente esaminata e Microsoft trova la nuova preferenza.

Addestramento e grounding sono controlli distinti

Il grounding è l’uso di una pagina per fornire informazioni a una risposta generata dall’IA. Non equivale ad addestrare un modello: una preferenza sull’addestramento non determina automaticamente se una pagina può essere usata nelle risposte.

Microsoft tratta le due scelte separatamente. Le sue preferenze di grounding si impostano a livello di pagina; limitarlo può ridurre la visibilità nelle esperienze di IA di Microsoft, ma non cambia l’idoneità della pagina ai risultati tradizionali di Bing. In assenza di una preferenza applicabile, Microsoft indica Allow sia per l’addestramento sia per il grounding.

Google ha descritto una propria corrispondenza: se un sito esprime l’opt-out condiviso per l’addestramento senza specificare separatamente Google-Extended, Google prevede di trattare quest’ultimo come disallow. Google dice inoltre che consentire esplicitamente Google-Extended rende i contenuti idonei al grounding in Gemini Apps. La regola condivisa e le impostazioni specifiche del singolo fornitore possono quindi avere effetti diversi sull’uso delle pagine nelle risposte dell’IA.