I gestori dei siti possono applicare policy distinte ai crawler AI, con nuove impostazioni disponibili anche nel piano Free e default aggiornati per i nuovi domini.
Cloudflare ha introdotto nuovi controlli per gestire il traffico generato dai crawler legati all’intelligenza artificiale. Le impostazioni distinguono tre finalità operative — ricerca, agenti e addestramento — e permettono ai proprietari dei siti di applicare regole differenti a ciascuna categoria.
La novità amplia le possibilità offerte dalle precedenti opzioni di blocco dei bot AI. Un sito può mantenere accessibili i contenuti utili alla ricerca, limitando nello stesso tempo le scansioni destinate all’addestramento dei modelli o alle attività svolte dagli agenti. I controlli sono già configurabili nelle impostazioni delle singole zone Cloudflare e risultano disponibili anche per i clienti del piano Free.
Tre categorie per finalità diverse
La categoria Search comprende i crawler impiegati per alimentare servizi di ricerca e rendere le pagine rintracciabili attraverso strumenti che indicizzano il web. Per editori, aziende e professionisti, questa funzione può sostenere la visibilità dei contenuti e il traffico proveniente dai motori di ricerca.
La categoria Agent riguarda i sistemi automatizzati che visitano un sito per eseguire un’attività richiesta da un utente. Un agente potrebbe, per esempio, consultare una pagina durante una ricerca assistita, recuperare informazioni utili a completare un compito o interagire con un servizio online. È un tipo di accesso destinato a crescere con la diffusione degli assistenti capaci di usare strumenti esterni.
Training identifica invece i crawler che raccolgono contenuti destinati all’addestramento dei modelli. La distinzione consente a un titolare di accettare l’indicizzazione per la ricerca e, allo stesso tempo, esprimere una scelta diversa sull’impiego dei materiali nei processi di training.
Cloudflare prevede un trattamento più restrittivo per i crawler con impieghi misti. Se uno stesso sistema viene utilizzato sia per la ricerca sia per l’addestramento, le nuove policy tengono conto del comportamento soggetto alla limitazione più severa. Questa impostazione riduce l’ambiguità operativa nei casi in cui un singolo identificativo copra più finalità.
I nuovi default previsti da settembre
Le opzioni sono già disponibili per gli utenti esistenti. Dal 15 settembre 2026 Cloudflare applicherà inoltre default aggiornati ai nuovi clienti e ai nuovi domini interessati dalla configurazione. Sulle pagine che mostrano annunci, i crawler Training e Agent saranno bloccati per impostazione predefinita, mentre quelli classificati come Search resteranno consentiti.
La scelta collega le regole sul traffico AI al modello economico di molti siti sostenuti dalla pubblicità. Le visite automatizzate possono utilizzare il contenuto senza seguire lo stesso percorso di un lettore che apre una pagina. Consentire la ricerca conserva un canale di scoperta, mentre le altre forme di accesso richiedono una decisione esplicita da parte del gestore.
Un default resta una configurazione iniziale. Gli amministratori possono adattare le policy alle caratteristiche del sito, agli accordi commerciali e ai flussi digitali già attivi. Un editore potrebbe consentire Search e bloccare Training; un servizio documentale potrebbe valutare l’accesso degli agenti in base alla funzione offerta; un’azienda potrebbe adottare regole diverse per aree pubbliche e contenuti con finalità specifiche.
Dalla scelta generale a una gestione più granulare
La separazione per finalità rende più precisa una decisione che in precedenza tendeva a essere formulata come autorizzazione o blocco complessivo dei bot AI. I crawler hanno ruoli differenti nell’ecosistema digitale e producono conseguenze diverse per distribuzione, riuso e accessibilità dei contenuti.
Per chi pubblica online, la granularità permette di collegare la configurazione tecnica a una strategia editoriale. La ricerca può favorire la reperibilità di articoli e pagine prodotto. Gli agenti possono ampliare l’accesso alle informazioni attraverso nuovi assistenti. Il training coinvolge invece il possibile impiego dei materiali nello sviluppo dei modelli. Ogni organizzazione può attribuire un valore diverso a queste attività.
Le policy Cloudflare operano a livello infrastrutturale, dove il traffico viene identificato e gestito prima di raggiungere il sito. La documentazione collega inoltre le categorie Search, Agent e Training ai segnali utilizzati per comunicare le preferenze sull’uso dei contenuti, compresa la gestione del file robots.txt. Regole di accesso e segnali dichiarativi possono così essere organizzati attraverso una tassonomia coerente.
L’effetto concreto dipende dalla capacità di riconoscere correttamente i crawler, dal piano utilizzato e dalle regole già presenti nell’account. Gli amministratori dovranno quindi verificare la configurazione della propria zona, soprattutto quando esistono firewall personalizzati, strumenti di gestione dei bot o impostazioni precedenti dedicate al traffico AI.
BotBase e la visibilità sui sistemi automatizzati
L’annuncio include anche BotBase, una nuova vista destinata ai clienti Enterprise. Lo strumento offre visibilità sui bot conosciuti e sulle loro caratteristiche, aiutando le organizzazioni a comprendere quali sistemi automatizzati accedono ai contenuti.
Cloudflare descrive BotBase anche come base per un futuro centro di controllo più diretto. Le capacità annunciate per gli sviluppi successivi vanno distinte dalle funzioni già disponibili: nella fase attuale, l’elemento confermato è soprattutto la maggiore visibilità fornita ai clienti Enterprise.
Questa direzione riflette un’esigenza pratica. La gestione del traffico automatizzato richiede informazioni comprensibili anche a chi prende decisioni editoriali o commerciali. Sapere quale crawler visita un dominio, con quale finalità dichiarata e sotto quale policy facilita il coordinamento tra responsabili dei contenuti, sviluppatori e amministratori dell’infrastruttura.
Un tassello nella strategia di Cloudflare sui contenuti
Le nuove opzioni proseguono la linea denominata “Content Independence Day”. L’anno precedente Cloudflare aveva introdotto strumenti per bloccare i bot AI e un marketplace pay-per-crawl, pensato per associare condizioni economiche all’accesso automatizzato. La classificazione per finalità aggiunge ora una gestione più selettiva.
Per editori digitali, autori e piccole imprese, il cambiamento più utile consiste nella possibilità di definire regole vicine ai propri obiettivi. Un sito orientato alla diffusione pubblica può privilegiare la ricerca. Un archivio con contenuti proprietari può adottare limiti più rigorosi sul training. Una piattaforma progettata per interagire con assistenti AI può valutare positivamente il traffico degli agenti.
La crescita dell’intelligenza artificiale sta trasformando i crawler da strumenti prevalentemente associati all’indicizzazione in componenti di una filiera più articolata. Ricerca, automazione e addestramento convivono sullo stesso web, pur rispondendo a logiche differenti. Le opzioni introdotte da Cloudflare offrono ai gestori dei siti un metodo operativo per tradurre queste differenze in policy configurabili.
Il risultato atteso è un controllo più leggibile sull’uso dei contenuti, integrato negli strumenti già impiegati per amministrare domini e traffico. La sua efficacia andrà valutata nelle configurazioni reali e in rapporto all’evoluzione dei crawler. La direzione è comunque concreta: dare ai proprietari dei siti scelte distinte, invece di trattare ogni accesso AI come un’unica categoria tecnica.
Fonti
- Your site, your rules: new AI traffic options for all customers
- Block AI Bots · Cloudflare bot solutions docs
- robots.txt setting · Cloudflare bot solutions docs
