MariaDB Foundation apre una libreria pubblica per rilevare regressioni di performance

La MariaDB Foundation ha avviato, dentro il Test Automation Framework (TAF), una libreria pubblica di test per il rilevamento di cambiamenti di performance tra versioni del database. Lo annuncia un post sul blog ufficiale di MariaDB.org, firmato da Jonathan "Jeb" Miller. Per chi gestisce istanze MariaDB in produzione e deve validare una migrazione o una release, è un riferimento in più oltre ai soliti benchmark privati o ai dati del produttore: qui il caso, lo script e i risultati sono pubblici e ripetibili.

Il primo caso: MDEV-32750

Il primo elemento della libreria è MDEV-32750, una variazione di comportamento scoperta durante una migrazione da MariaDB 10.4.10 a 10.11.4: l'Adaptive Hash Index (AHI) si comporta in modo diverso tra le due versioni, con effetti sul throughput a thread count elevati. Il workload usato per evidenziare il problema è HammerDB TPROC-C, scelto perché mescola operazioni OLTP CPU-bound e lock-heavy, rendendo visibili gli effetti dell'AHI.

Il caso è stato trasformato in un test deterministico e ripetibile, composto da: due file di properties (AHI ON / AHI OFF), uno script runner multi-versione, uno script per il release-testing, un workload HammerDB/TPROC-C calibrato per la riproducibilità, comportamento CPU deterministico, thread count costanti, checksum per la correttezza e generazione di flamegraph per l'analisi.

Struttura e script di release-testing

La libreria vive nella cartella mdevs/ del TAF, con future sottocartelle per check giornalieri, sweep settimanali, validazione di release, controlli pre-commit, workload di investigazione e test di stabilità su lungo periodo. Il commit introduce anche uno script di release-testing pensato per la validazione di una singola versione: individua automaticamente la root del TAF, localizza la cartella delle properties MDEV, costruisce tag di test deterministici, esegue i casi selezionati sull'installazione MariaDB attiva e registra i risultati. È lo script da usare per capire se un comportamento osservato su una release candidate è atteso o no.

L'infrastruttura di test

Secondo quanto riportato nel post, il TAF 4.0 è stato sviluppato e validato su host forniti da Hetzner: un sistema con CPU Intel i5-13500 (20 vCPU/14 core), 62 GB di RAM e AlmaLinux 9.7, e un secondo con CPU AMD EPYC 9454 (96 vCPU/48 core), 125 GB di RAM e AlmaLinux 9.8.

La Foundation invita chi vuole contribuire con propri casi di rilevamento performance a farsi avanti; promette di documentare in seguito le modalità di contribuzione della community. È inoltre aperto, fino al 15 ottobre 2026, il sondaggio annuale della MariaDB Foundation.