Google intende supportare all’inizio del 2027 un segnale condiviso in robots.txt con cui i siti web potranno esprimere preferenze sull’uso dei propri contenuti per addestrare modelli di IA generativa. Il token proposto, __usage_ai-training, comunica una preferenza d’uso: da solo non impedisce ai crawler di visitare il sito.
Che cosa copre il segnale proposto
La bozza AIPREF definisce l’addestramento come l’uso di contenuti recuperati per modificare i parametri appresi di un modello generativo. Esclude i sistemi usati esclusivamente per attività non generative, come classificazione, ranking o scoring. Il token comparirebbe in un gruppo User-Agent di robots.txt; le regole ordinarie Allow e Disallow permetterebbero di esprimere preferenze per determinati percorsi. La bozza AIPREF non introduce nuove direttive o una sintassi diversa per robots.txt.
Una preferenza d’uso non blocca il crawling
Il token riguarda l’uso dei contenuti, non la gestione del traffico dei crawler. La bozza separa le preferenze sull’addestramento dalle regole che limitano l’accesso: per restringere il crawling servono direttive specifiche per i crawler. Chi consuma il segnale può tenerne conto anche quando decide se recuperare una risorsa, ma la preferenza non garantisce da sola che un contenuto non venga scaricato o utilizzato. La bozza ammette inoltre che accordi privati possano prevalere sulle preferenze espresse con questo meccanismo.
Come Google intende trattare Google-Extended
Secondo una nota della documentazione sui crawler di Google riportata il 30 ottobre 2026, Google prevede di supportare il segnale condiviso all’inizio del 2027. John Mueller, Search Advocate di Google, ha spiegato che un opt-out espresso con il token condiviso verrebbe interpretato come un disallow per Google-Extended, a meno che il sito non specifichi separatamente quel crawler. Mueller ha anche detto che i controlli specifici dei singoli fornitori continueranno a funzionare insieme al segnale condiviso.
La proposta non riguarda le impostazioni personali di Gemini
Il meccanismo è pensato per chi gestisce un sito e pubblica preferenze sui contenuti in robots.txt. Non modifica le impostazioni personali di attività di Gemini né quelle della cronologia di Ricerca Google.
La versione -00 è classificata dall’IETF Datatracker come Internet-Draft individuale: non è approvata dall’IETF e non ha status formale nel suo processo di standardizzazione. Quindi il piano futuro di Google riguarda il supporto a una proposta ancora in forma di bozza.
