Un adattatore LoRA da 264 MB seleziona porzioni del prompt originale, conservando l’86,5% delle soluzioni su SWE-bench Lite
Il 25,7% non è uno sconto: è quanto resta del contesto di un coding agent dopo il passaggio di Paritok-4B. Lo studio, pubblicato su arXiv il 25 agosto scorso, riporta i risultati di Nebius: basta quel quarto di dati per conservare l’86,5% delle soluzioni su SWE-bench Lite. Numeri del genere, se reggono la prova dei fatti, spostano una voce di costo che finora si dava per scontata: la memoria di contesto.
SWE-bench Lite non è un test qualsiasi. È un sottoinsieme selezionato di 300 task tratto dal benchmark SWE-bench completo: problemi di codice reali, usati per capire se un agente risolve davvero un’issue e non se produce testo plausibile. Su tutti i 300 casi, Paritok-4B comprime il contesto al 25,7% della dimensione originale. Il confronto con i compressori basati su modelli OpenAI è il dettaglio che conta: un compressore basato su gpt-4.1-mini arriva al 50,2%, gpt-5 al 61,9%. In altre parole, Paritok comprime circa il doppio rispetto al primo e 2,4 volte rispetto al secondo, mantenendo l’86,5% della qualità di risoluzione non compressa.
Resta da capire come un adattatore da 264 MB possa ottenere questo risultato senza applicare tariffe per token. La spiegazione sta nell’architettura.
Estrattivo, locale, senza contatore: perché Paritok-4B non è l’ennesimo compressore
La risposta tecnica è in una parola: estrattivo. Paritok-4B non genera testo nuovo, seleziona porzioni di testo già presenti nell’input. Il 96,0% degli identificatori, dei percorsi e dei numeri che emette compare già nel contesto che riceve; su SWE-bench Lite il dato sale al 96,2%. Tradotto per chi non programma: il modello non riscrive il codice, lo riusa, e questo è il tratto distintivo rispetto ai compressori che riassumono e riformulano il prompt.
Dietro c’è un addestramento mirato. Il modello è un adattatore LoRA da 4 miliardi di parametri, cioè un componente leggero che si aggancia a una base Qwen3-4B. Viene addestrato su traiettorie reali di OpenHands: sequenze di azioni, osservazioni e modifiche che un agente produce mentre lavora su repository veri. La distillazione parte da 67.074 traiettorie, filtrate in 40.606 esempi validati, con un teacher gpt-4.1-mini. Il dataset di partenza non è artificiale: Nebius lo aveva già pubblicato a dicembre 2025 con 67.074 traiettorie OpenHands, 3.792 issue risolte e 1.823 repository.
Il confronto con la linea dominante dei compressori di prompt, la serie LLMLingua di Microsoft, è esplicito. Paritok-4B si posiziona contro la linea dominante dei compressori di prompt. Ma la differenza vera non è solo la compressione: è l’assenza di un contatore. Il modello è un adattatore da 264 MB che si auto-ospita su una singola GPU da 24 GB, senza tariffa per token. Sui listini, questo decide l’economia: lo studio calcola che usare gpt-5 come compressore è net-negative, costa più dei token downstream che fa risparmiare. Anche Anthropic ha lavorato sulla gestione del contesto: il context editing per la Claude Developer Platform è già usato in Claude Code. Ma lì il servizio resta legato a una piattaforma; qui il compressore può girare in locale.
Resta la domanda aperta: questi numeri si riferiscono a SWE-bench Lite, un benchmark selezionato. Fuori da quei 300 task, su repository reali e codebase sporche, la compressione estrattiva potrebbe non reggere allo stesso modo. Lo studio riporta che la natura estrattiva tiene al 96,2% sull’output held-out di SWE-bench Lite, ma un benchmark selezionato non è un ambiente di produzione. Vale la pena ricordarlo prima di fare conti.
Chi vince e chi perde quando la compressione diventa locale
Se la compressione non richiede più API esterne, il costo marginale della memoria di contesto crolla. Chi ci guadagna? Chi sviluppa o paga agenti di coding: ogni traiettoria compressa significa meno token da inviare al modello a valle e meno spesa variabile. Chi rischia? Chi vende compressione come servizio a consumo: un adattatore locale da 264 MB sposta il valore dal canone per token al software ospitato.
Per chi sviluppa o paga agenti di coding, la conseguenza concreta è questa: il costo marginale della memoria di contesto scende vicino a zero. La competizione si sposta sulla qualità delle traiettorie distillate e sulla capacità di ospitare il compressore in locale. Il 25,7% non è solo un numero: è il punto in cui il vantaggio passa da chi vende token a chi sa addestrare un adattatore.
