Cloudflare introduce un punteggio di fiducia continuo per i Verified Bot

Cloudflare ha annunciato un sistema che valuta nel tempo se i bot verificati rispettano davvero le regole dei siti che attraversano, non solo se dichiarano correttamente la propria identità. Per chi gestisce un sito dietro Cloudflare e usa Bot Management, è la differenza tra sapere "chi è" un crawler e sapere "se si può fidare" di lasciarlo passare.

Finora un bot entrava nell'elenco dei Verified Bot firmando le richieste con Web Bot Auth e facendosi catalogare da BotBase: un controllo d'identità, una tantum. Cloudflare introduce un continuous accountability system per i Verified Bots, spostandosi oltre la verifica d'identità una tantum verso un monitoraggio comportamentale continuo. Il sistema valuta se i bot rispettano le preferenze del sito, come le direttive robots.txt, e se reagiscono in modo appropriato ai segnali di rate-limiting HTTP 429, traducendo le osservazioni in una "trust band" spiegabile anziché in un giudizio permanente.

I due segnali iniziali riguardano il rispetto delle istruzioni pubblicate e la risposta diretta ai feedback dei siti. Sul fronte robots.txt, il riferimento tecnico resta lo standard RFC 9309: Cloudflare non considera isolato uno sconfinamento occasionale, ma segnala pattern ripetuti di comportamento che ignora le preferenze pubblicate. Sul fronte rate-limiting, il sistema osserva se, dopo un HTTP 429, il bot rallenta o continua a inviare richieste allo stesso ritmo: chi rallenta guadagna fiducia, chi ignora il segnale la perde.

Il caso citato come precedente è quello di Perplexity: Cloudflare de-listò il bot di Perplexity nel 2025 dopo che aveva tentato di accedere a risorse su siti che avevano disattivato lo scraping, e successivamente aveva cercato di aggirare i controlli una volta che quelle richieste erano state bloccate. Il delisting risale al 4 agosto 2025, dopo segnalazioni di crawling con user agent falsificati e indirizzi IP non dichiarati su diverse ASN.

Il nuovo punteggio si affianca a Bot Preference Sync, la funzione con cui Cloudflare scrive automaticamente nel robots.txt le preferenze impostate da dashboard per traffico di ricerca, agenti AI e training, annunciata il 21 agosto 2026. I punteggi di fiducia saranno pubblicati su Cloudflare Radar; per ora l'azienda li usa internamente per costruire uno storico, ma prevede di renderli disponibili a tutti i clienti, che potranno scegliere la soglia oltre la quale un Verified Bot viene trattato con più sospetto.