Google, Microsoft, OpenAI e Anthropic sono state indicate da WWWhat's New e ChosunBiz come sostenitrici di un segnale comune in robots.txt per esprimere preferenze sull’addestramento dell’IA. Il token __usage_ai-training compare in una bozza individuale dell’IETF: riguarda l’uso dei contenuti per addestrare modelli generativi, non il blocco generale dei crawler, e i tempi previsti variano da un’azienda all’altra.
Cosa esprime il token e cosa non regola
La bozza individuale pubblicata nel registro IETF definisce l’addestramento come l’uso di un contenuto per modificare i parametri appresi da un modello generativo. Esclude l’addestramento di modelli usati esclusivamente per compiti non generativi. Il token riutilizza le regole di robots.txt per indicare i percorsi interessati. Per esempio, il draft mostra un’impostazione che esclude il sito dall’addestramento, con un’eccezione per /press-kit/:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Il gruppo User-Agent: * non esprime questa preferenza: la bozza specifica che il carattere jolly non corrisponde al token. Se manca un gruppo dedicato a __usage_ai-training, il sito non esprime una preferenza tramite questo meccanismo. Accordi privati tra un fornitore e un’azienda possono prevalere sulla preferenza dichiarata.
Il token non è una direttiva che ordina ai crawler di interrompere la scansione automatica delle pagine. Per limitare l’accesso si possono continuare a usare gruppi robots.txt specifici per i crawler. La bozza è un Internet-Draft individuale, senza approvazione o valore formale nel processo di standardizzazione dell’IETF; la versione attuale scade il 3 maggio 2027 se non viene aggiornata o sostituita.
Le tempistiche riportate per i quattro fornitori
I resoconti del 1° novembre riferivano che Anthropic aveva avviato l’implementazione; per OpenAI indicavano i mesi successivi all’annuncio, mentre per Google il 2027. Microsoft ha pubblicato un piano proprio, con applicazione delle preferenze durante il crawling delle pagine dal 1° febbraio 2027.
| Azienda | Tempistica riportata o comunicata |
| Anthropic | I resoconti del 1° novembre riferivano l’avvio dell’implementazione. |
| OpenAI | Nei mesi successivi all’annuncio, secondo i resoconti del 1° novembre. |
| Nel 2027, secondo i resoconti del 1° novembre. | |
| Microsoft | Dal 1° febbraio 2027, man mano che Bing effettua il crawling delle pagine, secondo il piano pubblicato da Microsoft. |
La transizione Microsoft dipende dal crawling
Le regole transitorie sul grounding riguardano i siti che usano NoArchive o NoCache al 15 dicembre 2026. Solo per questi siti si apre in quella data la possibilità di registrare in Bing Webmaster Tools una preferenza temporanea di grounding. Microsoft prevede che pubblichino preferenze di grounding per pagina e registrino la scelta temporanea entro il 1° marzo 2027. La scelta temporanea termina quando un nuovo crawling rileva la preferenza della pagina oppure il 30 settembre 2027, a seconda di quale evento avvenga prima.
Dal 1° marzo 2027, Microsoft non leggerà più NoArchive e NoCache come preferenze per l’addestramento o il grounding. Pubblicare una preferenza non la rende subito effettiva: Microsoft deve prima rilevarla con una nuova scansione della pagina. IndexNow può segnalare una modifica, ma non garantisce quando avverrà il nuovo crawling.
Addestramento, grounding e ricerca Bing
Il grounding è l’uso di una pagina per contribuire alle risposte generate dall’IA. In Microsoft è una preferenza distinta dall’addestramento e si imposta per singola pagina, con le opzioni Allow, Disallow e DisallowExtended; non esiste una preferenza di grounding a livello di sito in robots.txt. La preferenza Microsoft AI Training per pagina prevale invece sull’impostazione corrispondente in robots.txt. In assenza di una preferenza applicabile, Microsoft dichiara che addestramento e grounding sono consentiti.
Microsoft afferma che queste preferenze non modificano l’idoneità dei contenuti ai risultati della ricerca Bing tradizionale, che resta soggetta ai normali requisiti di scansione e indicizzazione.
