Il dataset SMB introduce una metrica standard per valutare i software di riconoscimento musicale
Per anni chi ha provato a scansionare uno spartito si è scontrato con errori quasi comici: una pausa che diventava una nota, una chiave di violino trasformata in un geroglifico, intere battute risucchiate nel nulla. Non era pigrizia dei programmatori: mancava un metro condiviso per valutare i software di riconoscimento ottico della musica, l’equivalente musicale dell’OCR che usiamo per i documenti. Ora quel metro esiste. Si chiama Sheet Music Benchmark, è un dataset di 685 pagine ed è stato descritto in un articolo accettato alla 26ª conferenza della International Society for Music Information Retrieval (ISMIR), pubblicato la scorsa settimana. Per la prima volta il riconoscimento ottico della musica (OMR, Optical Music Recognition) esce dall’aneddotica e diventa una disciplina misurabile con precisione statistica.
Il dataset che cambia le regole
Ma per misurare i progressi serviva uno strumento condiviso. Ed è quello che arriva da questo lavoro. Il cuore tecnico è la metrica OMR-NED, che sta per Optical Music Recognition Normalized Edit Distance. In parole povere: prende in prestito il concetto di Symbol Error Rate (SER), già usato nel riconoscimento vocale per contare quante parole vengono sbagliate da un sistema automatico, e lo adatta agli spartiti. Invece di sillabe o fonemi si contano note, pause, alterazioni, chiavi. L’idea è semplice, ma finora nessuno l’aveva applicata in modo sistematico a un campione abbastanza ampio da avere valore statistico.
Il dataset SMB – 685 pagine di musica tipografica – è stato costruito proprio per questo: non per addestrare nuovi modelli, ma per valutarli con criteri uniformi. Un po’ come le batterie di test standardizzate in altri campi dell’intelligenza artificiale. E a sorpresa, quando si usa un benchmark pensato bene, emergono risultati che altrimenti sarebbero rimasti invisibili. Già nel giugno 2025, un modello chiamato Legato aveva mostrato numeri notevoli, ma senza un riferimento condiviso era difficile capire quanto fossero davvero significativi. Con SMB, quei numeri diventano improvvisamente leggibili.
Il modello fantasma
Quando il dataset SMB viene usato per valutare Legato, il primo modello OMR preaddestrato su larga scala, il risultato è netto. Legato non è un prototipo da laboratorio: è stato addestrato su migliaia di pagine, è in grado di riconoscere spartiti tipografici a pagina intera o su più pagine e – cosa rara – genera documenti in notazione ABC, un formato testuale leggero che permette di archiviare e condividere la musica con pochissimi byte. Presentato lo scorso anno, aveva già mostrato di saper fare cose che i modelli precedenti non facevano.
Ma è il raffronto sulle metriche standard a colpire. Su TEDn (Tree Edit Distance normalizzata), una metrica che misura la distanza tra l’albero sintattico dello spartito originale e quello prodotto dal software, Legato ha registrato una riduzione assoluta dell’errore del 68%. Sulla nuova OMR-NED, cioè il metro introdotto proprio con SMB, il calo è del 47,6%. Sono numeri che vanno presi con cautela – ogni riduzione percentuale va sempre letta rispetto alla baseline di partenza, e nei paper tecnici la baseline può cambiare da un esperimento all’altro – ma che raccontano una direzione chiara. Avere un benchmark finalmente stabile permette di vedere che un modello uscito un anno fa, se misurato con i criteri giusti, fa molta meno fatica di quanto si pensasse a interpretare uno spartito.
MuseScore e il pragmatismo
Perché nel mondo reale un editore musicale, o chi pubblica spartiti online, non guarda solo al tasso d’errore statistico. Guarda a come quello spartito si apre nel software che usa tutti i giorni. E qui entra in scena un altro modo di misurare la qualità: il benchmark MuseScore, pensato per valutare la qualità pratica dell’importazione dentro l’ecosistema del noto programma di notazione musicale. Invece del SER, questo benchmark usa la distanza di modifica degli alberi e metriche di sequenza, parametri che riflettono meglio l’esperienza concreta di chi apre un file e deve correggere a mano gli errori residui.
E così si apre una partita a scacchi tra due modi di misurare la qualità. Da un lato il rigore statistico di OMR-NED, che dà numeri confrontabili tra laboratori diversi e permette di fare ricerca riproducibile. Dall’altro l’approccio pragmatico di MuseScore, che rinuncia a un po’ di eleganza matematica per restare aderente al flusso di lavoro reale. Per chi pubblica spartiti online, la notizia è duplice: ora c’è un benchmark affidabile per scegliere il miglior OMR sulla carta, ma la strada verso l’importazione perfetta – quella in cui non serve mettere mano al risultato – è ancora lunga. E passa, inevitabilmente, da una domanda: meglio un software che sbaglia poco in astratto, o uno che sbaglia in modo facile da correggere?
