Traffico bot sul sito: come leggerlo da AWStats e dai log senza bloccare Googlebot

Non tutto il traffico bot va bloccato. Anzi, nella maggior parte dei casi conviene lasciarlo passare: senza Googlebot e senza i crawler degli assistenti AI un sito non viene indicizzato e non viene letto da chi cerca informazioni tramite i nuovi strumenti conversazionali. Il problema nasce quando tra le richieste automatizzate si infilano scraper di contenuti, tentativi di brute force o bot che intasano i moduli di contatto. Un articolo pubblicato il 21 ottobre 2026 sul blog di Serverplan spiega come distinguere le due categorie usando gli strumenti già disponibili su un hosting con cPanel.

Tre famiglie di bot

La fonte divide i bot in tre gruppi: quelli utili e necessari (Googlebot, Bingbot, GPTBot, OAI-SearchBot, i sistemi di monitoraggio uptime), quelli neutri che consumano solo un po' di banda (tool SEO di terze parti, aggregatori di dati) e quelli dannosi, progettati per cercare vulnerabilità, forzare accessi, inviare spam o scaricare contenuti.

Il contesto aiuta a capire perché la questione non è più marginale. Secondo i dati di Cloudflare Radar diffusi a giugno 2026, le richieste automatizzate rappresentano ormai il 57,5% del traffico HTML verso i contenuti web, contro il 42,5% generato da umani, la prima volta nella storia di internet in cui le macchine sono in maggioranza. Il dato riguarda il traffico HTML monitorato da Cloudflare e non comprende video, email o gaming.

Dove guardare: AWStats e log grezzi

Su hosting cPanel con web server Apache, come segnala la fonte, AWStats separa automaticamente il traffico identificato tramite User-Agent noti, mostrando volume di visite, dati trasferiti e data dell'ultimo accesso per bot come Googlebot, Baiduspider o YandexBot. Per chi vuole scendere più nel dettaglio, i log grezzi restano la fonte più completa: si scaricano da cPanel, sezione Metrics, voce Accesso Grezzo (Raw Access), in formato .gz. Da lì si leggono le stringhe User-Agent complete e si individuano pattern sospetti come richieste ripetute dallo stesso IP in pochi secondi o scansioni sequenziali di URL.

Cosa fare con i bot indesiderati

Il file robots.txt resta lo strumento di primo livello: indica le regole di scansione ma non blocca un malintenzionato intenzionato a ignorarle. Per un filtro reale servono soluzioni WAF come Cloudflare o Sucuri, che riconoscono le firme dei bot noti e applicano CAPTCHA agli IP sospetti, eventualmente affiancate da honeypot con link invisibili agli utenti ma visibili solo ai bot di scansione.

Serverplan è un hosting provider; AWStats è incluso di default nei piani cPanel con Apache.