Dal 15 settembre 2026 i nuovi domini su Cloudflare potranno lasciare attiva l’indicizzazione tradizionale e bloccare di default training e accesso degli agenti sulle pagine sostenute dalla pubblicità.
Cloudflare ha introdotto nuove opzioni per gestire il traffico generato dai sistemi di intelligenza artificiale verso siti, blog e testate online. La novità riguarda soprattutto gli editori digitali: l’azienda distingue ora tre categorie principali di accesso ai contenuti, Search, Agent e Training, con l’obiettivo di separare l’indicizzazione tradizionale dai casi in cui una pagina viene letta per addestrare modelli o alimentare strumenti AI capaci di agire per conto degli utenti.
La distinzione è importante perché le diverse forme di accesso producono effetti molto diversi per chi pubblica contenuti. Un crawler di ricerca può contribuire alla scoperta di una pagina e portare traffico verso il sito. Un crawler usato per il training può incorporare informazioni in un modello senza generare visite dirette. Un agente AI, infine, può consultare una pagina per rispondere a una richiesta, riassumere un contenuto o completare un’operazione all’interno di un altro servizio. Per un editore, trattare questi tre scenari come se fossero la stessa cosa rende difficile definire regole commerciali e tecniche coerenti.
Dal 15 settembre 2026, per i nuovi domini attivati su Cloudflare, le categorie Training e Agent saranno bloccate di default sulle pagine sostenute da annunci pubblicitari, mentre la categoria Search resterà consentita di default. I clienti esistenti possono già configurare le nuove opzioni nelle impostazioni del dominio. In pratica, un sito potrà continuare a farsi indicizzare dai motori di ricerca tradizionali e scegliere una politica più restrittiva per l’uso dei contenuti da parte di modelli generativi o agenti automatici.
La scelta di Cloudflare si inserisce in una trasformazione più ampia del rapporto tra infrastrutture web, editoria e piattaforme AI. Per anni molti siti hanno ragionato in termini relativamente semplici: aprire o limitare l’accesso ai bot, gestire il file robots.txt, proteggere aree riservate, distinguere contenuti pubblici e contenuti in abbonamento. L’arrivo di modelli linguistici, motori di risposta e agenti capaci di navigare autonomamente ha reso più articolata questa gestione. Il traffico automatizzato non serve più soltanto a costruire un indice di link; può contribuire alla produzione di risposte, sintesi e servizi che intercettano parte del valore informativo della pagina originale.
Le tre categorie scelte da Cloudflare offrono una griglia operativa semplice. Search riguarda l’uso dei contenuti per l’indicizzazione e la scoperta tramite ricerca. Training riguarda l’accesso destinato all’addestramento o al miglioramento dei modelli. Agent copre invece gli accessi compiuti da sistemi AI che eseguono compiti per un utente o un’applicazione. La separazione aiuta un editore a decidere quali utilizzi accettare, quali bloccare e quali eventualmente collegare a un accordo commerciale.
Cloudflare sta inoltre facendo evolvere il precedente modello Pay Per Crawl verso una logica definita Pay Per Use. L’idea dichiarata è spostare la remunerazione dal semplice passaggio di un crawler alla creazione di valore negli output generati dall’intelligenza artificiale. In termini pratici, l’azienda vuole costruire un mercato in cui i publisher possano essere pagati quando i loro contenuti vengono usati in prodotti AI in modo economicamente rilevante. Il comunicato cita anche collaborazioni con realtà come Ceramic.ai e You.com, presentate come primi tasselli commerciali di questo percorso.
La differenza tra accesso e uso è decisiva per il settore dei contenuti. Un modello basato soltanto sul crawling rischia di misurare l’attività tecnica, senza cogliere quanto una pagina contribuisca davvero a un servizio AI. Un modello legato all’uso prova invece a collegare il valore del contenuto al risultato finale: una risposta, una sintesi, una ricerca assistita o un’azione svolta da un agente. La realizzazione concreta dipenderà da accordi, identificazione affidabile del traffico e integrazioni tra piattaforme, quindi l’impatto economico non può essere dato per acquisito. La direzione, però, è chiara: rendere più visibile e negoziabile l’impiego dei contenuti editoriali nei nuovi ambienti generativi.
Per gli editori, la novità non riguarda soltanto le grandi testate. Anche siti verticali, magazine specializzati, archivi professionali e progetti editoriali indipendenti possono avere contenuti di valore per motori di risposta e agenti. Guide tecniche, recensioni approfondite e archivi tematici sono materiali utili perché organizzano conoscenza in forma già leggibile e verificabile. Disporre di controlli più granulari consente di evitare decisioni drastiche, come aprire tutto o chiudere tutto, e permette di costruire politiche diverse per sezioni, modelli di business e obiettivi di distribuzione.
Un sito basato sulla pubblicità, ad esempio, può voler favorire l’indicizzazione tradizionale perché le visite restano una componente essenziale dei ricavi. Lo stesso sito può essere più cauto verso agenti che leggono la pagina e restituiscono una risposta altrove, riducendo la probabilità che l’utente arrivi sul contenuto originale. Un archivio con contenuti specialistici potrebbe invece valutare accordi selettivi con servizi AI interessati a usare materiali di qualità. La nuova impostazione di Cloudflare rende queste scelte più esplicite sul piano tecnico.
Resta una questione di standard e riconoscibilità. La classificazione è utile se i crawler dichiarano correttamente la propria funzione e se le piattaforme rispettano le regole impostate dai siti. Cloudflare sostiene che i crawler multiuso dovrebbero separare le funzioni di ricerca, agente e training, così da dare ai publisher maggiore trasparenza. È una richiesta coerente con l’evoluzione del web: un singolo bot che svolge più compiti crea ambiguità, mentre finalità distinte permettono policy più leggibili e accordi più chiari.
Per chi gestisce siti su Cloudflare, il passaggio operativo sarà verificare le impostazioni del dominio, controllare quali categorie di traffico AI sono consentite e valutare se le regole predefinite sono adatte al proprio modello editoriale. La scelta non dovrebbe essere solo tecnica. Coinvolge redazioni, responsabili commerciali e consulenti legali, perché riguarda distribuzione, licenze, ricavi e rapporto con le piattaforme. Le nuove opzioni possono diventare uno strumento utile se inserite in una strategia più ampia: capire quali contenuti devono circolare liberamente, quali possono essere concessi a determinate condizioni e quali meritano protezioni più rigide.
Il tema riguarda anche il modo in cui cambierà la ricerca online. Gli utenti si stanno abituando a ricevere risposte direttamente da assistenti e motori generativi, con meno passaggi manuali tra risultati, pagine e schede aperte. In questo scenario, l’editore deve mantenere visibilità, autorevolezza e sostenibilità economica. La separazione tra Search, Agent e Training non risolve da sola l’equilibrio tra piattaforme AI e produzione editoriale, però offre una base più concreta per negoziare. Il contenuto torna a essere descritto non soltanto come pagina accessibile, ma come risorsa con usi differenti.
La mossa di Cloudflare va letta come un intervento infrastrutturale su un problema ormai quotidiano per il web dei contenuti. L’intelligenza artificiale ha bisogno di pagine affidabili, aggiornate e strutturate; gli editori hanno bisogno di sapere quando e come quelle pagine vengono usate. Più il traffico AI diventa parte normale della circolazione dell’informazione, più servono regole leggibili per distinguere indicizzazione, automazione e addestramento. La nuova classificazione non definisce da sola il futuro economico dell’editoria digitale, però spinge il settore verso una gestione più trasparente e selettiva del valore prodotto online.
Fonti
- Your site, your rules: new AI traffic options for all customers
- Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules
- The Cloudflare Blog
