Let's Encrypt racconta come ha costruito il suo data warehouse con ClickHouse

Let's Encrypt ha pubblicato il 17 settembre 2026 un resoconto tecnico su come ha ricostruito da zero la pipeline di analisi dei propri log di emissione certificati, passando a un data warehouse basato su ClickHouse self-hosted. La notizia riguarda chi gestisce infrastrutture di log analytics su larga scala: l'autorità di certificazione emette, secondo quanto dichiarato nel post, da 6 a 10 milioni di certificati al giorno, e gli script legacy per generare le statistiche pubbliche (letsencrypt.org/stats) si rompevano con regolarità.

Cosa hanno cambiato

Secondo quanto riportato da Let's Encrypt, prima la squadra usava una combinazione di log grezzi e un servizio SaaS di log search, con costi in crescita e prestazioni insufficienti per i carichi analitici. La scelta è caduta su ClickHouse per lo storage efficiente di dati strutturati e l'aggregazione veloce su grandi dataset, oltre al fatto di essere open source.

L'hardware

Per il nuovo cluster, Let's Encrypt dichiara di aver acquistato tre server Dell PowerEdge R7715, ciascuno con:

Componente	Specifica dichiarata
CPU	AMD EPYC 9355P, 32 core, 3,55 GHz
RAM	384 GB
Storage	32 × 3,2 TB NVMe (~100 TB grezzi per nodo)

Con 100 giorni di log e dati strutturati già caricati, l'occupazione dichiarata è di circa il 14% della capacità totale.

I risultati operativi

Secondo il post, le statistiche pubbliche che prima richiedevano ore di elaborazione su file compressi (con fallimenti diversi volte l'anno) vengono ora calcolate da ClickHouse in meno di 10 secondi, grazie a viste materializzate che pre-aggregano i dati di emissione per profilo e per giorno. Anche l'analisi degli incidenti — identificare i certificati coinvolti — è passata da ore di lavoro ingegneristico a minuti di query interattive.

Le difficoltà incontrate

Il punto più critico, scrive Let's Encrypt, è stato il backfill dei log storici: l'OTel collector usato per l'ingest in tempo reale non reggeva l'importazione massiva (file scartati silenziosamente). La soluzione è stata passare al metodo nativo di import S3 di ClickHouse, con un gateway S3-compatibile davanti ai vecchi log, allineando manualmente le regole di parsing tra i due percorsi.

Per le tabelle soggette a ricalcolo, il team ha usato il motore ReplacingMergeTree, che permette di sostituire righe errate semplicemente re-importandole, evitando cancellazioni chirurgiche. Per le tabelle senza questo motore è stato necessario un OPTIMIZE TABLE ... DEDUPLICATE BY, operazione costosa ma eseguita una sola volta.

Il post completo, con query di esempio e grafici di emissione giornaliera, è disponibile sul blog di Let's Encrypt.