Google Pegasus: riassunti automatici a base di intelligenza artificiale

Google pegasus per il riassunto automatico dei testi

PEGASUS: Un modello all’avanguardia per la generazione di riassunti.

Che Google intenda fare pulizia dei milioni di contenuti a suo dire “non d’aiuto per fornire risposte migliori” è un dato di fatto così come lo è che – introducendo nuovi scenari per chiunque si occupi di SEO –  intenda fornire le informazioni per come l’utente le desidera.

La capacità di generare riassunti automatici gioca in questo un ruolo molto importante. In questo articolo ti riporto le principali informazioni pubblicate sul blog ufficiale di Google in merito al rilascio di Pegasus, il modello di intelligenza artificiale che detterà la strada verso il raggiungimento del perfetto riassunto a base di intelligenza artificiale.

Gli studenti sono spesso incaricati di leggere un documento e di produrre un riassunto (ad esempio di un libro) per dimostrare sia la capacità di lettura che la capacità di scrittura.

Questa sintesi astratta del testo è uno dei compiti più impegnativi nell’elaborazione del linguaggio naturale e comporta la comprensione di lunghi passaggi, la compressione delle informazioni e la generazione del linguaggio.

Il paradigma dominante utilizzato per l’addestramento dei modelli di apprendimento automatico dedicati a far questo è l’apprendimento “sequenza per sequenza” (seq2seq), nel quale una rete neurale impara a mappare le sequenze di input e le sequenze di output.

Mentre questi modelli seq2seq sono stati inizialmente sviluppati utilizzando reti neurali ricorrenti, i modelli Transformer encoder-decoder sono entrati recentemente in voga in quanto più efficaci nel modellare le dipendenze presenti nelle lunghe sequenze incontrate nella riepilogo.

I modelli Transformer combinati con un pre-formazione autosorvegliata (ad esempio, BERT, GPT-2, RoBERTa, XLNet, ALBERT, T5, ELECTRA) hanno dimostrato di essere una potente struttura per produrre un apprendimento generale delle lingue, raggiungendo prestazioni elevatissime quando interrogate su una vasta gamma di compiti linguistici.

Fino a poco fa, gli obiettivi cosiddetti “auto-sorvegliati” -utilizzati nella fase di pre-formazione- sono stati in qualche modo agnostici; a riguardo gli studiosi si sono chiesti se si potesse ottenere una migliore performance qualora l’obiettivo autosorvegliato rispecchiasse più da vicino il compito finale.

In “PEGASUS (che apparirà alla Conferenza Internazionale sull’Apprendimento delle Macchine del 2020), è stato appunto progettato un obiettivo di pre-formazione autosorvegliato (chiamato generazione di frasi di gap) per i modelli di encoder-decodificatori Transformer utili a migliorare le prestazioni di messa a punto su riassunti astratti.

Un obiettivo autosorvegliato per il riassunto.

L’ipotesi degli sviluppatori di Pegasus è che quanto più l’obiettivo di autosorveglianza a pre-formazione è vicino al compito finale a valle, tanto migliore è la prestazione di messa a punto.

Nella fase di pre-formazione PEGASUS, diverse frasi intere vengono rimosse dai documenti e il modello ha il compito di recuperarle.

Un esempio di input di pre-formazione è un documento con frasi mancanti, mentre l’output consiste nelle frasi mancanti concatenate insieme. Questo è un compito incredibilmente difficile che può sembrare impossibile, anche per le persone, e gli sviluppatori non si aspettano ad ora che il modello lo risolva perfettamente. Tuttavia, un compito così impegnativo incoraggia il modello a imparare il linguaggio e i fatti generali sul mondo, così come a distillare le informazioni prese da tutto il documento per generare un output che assomiglia molto ad un perfetto riassunto.

Il vantaggio di questa auto-vigilanza è che si possono creare tanti esempi quanti sono i documenti, senza alcuna annotazione umana, fattore che spessorappresenta il collo di bottiglia nei sistemi puramente supervisionati.

Un esempio dell’applicazione dei controlli di autosorveglianza usati da PEGASUS durante la preformazione.

Come avviene con BERT Il modello viene addestrato a produrre tutte le frasi mascherate.
A riguardo è stato scoperto che la scelta di frasi “importanti” per mascherare funzionava meglio, rendendo l’output di esempi autosorvegliati ancora più simile ad un riassunto.

Sono state identificate automaticamente frasi trovando quelle più simili al resto del documento secondo una metrica chiamata ROUGE. Questa calcola la somiglianza di due testi valutando le sovrapposizioni di n-grammi ed utilizzando un punteggio da 0 a 100 (ROUGE-1, ROUGE-2 e ROUGE-L sono tre varianti comuni).

Analogamente ad altri metodi recenti, come il T5, è stato pre-allenato il modello su un corpus molto ampio di documenti web-crawledwled, successivamente è stato messo a punto il modello su 12 set di dati di riassunto astratto pubblico down-stream, ottenendo nuovi risultati allo stato dell’arte misurati con metriche automatiche, utilizzando solo il 5% del numero di parametri del T5.

I dataset sono stati scelti per essere diversificati, includendo articoli di notizie, documenti scientifici, brevetti, racconti, e-mail, documenti legali e indicazioni su come procedere, dimostrando che il modello si adatta ad un’ampia varietà di argomenti.

Mentre PEGASUS ha mostrato prestazioni notevoli con grandi set di dati, è sorprendente scoprire che nell’apprendere il modello non richiedeva un gran numero di esempi di messa a punto per ottenere prestazioni quasi allo stato dell’arte.

Riassunti della qualità umana

Anche se le metriche automatiche come ROUGE sono utili per misurare il progresso durante lo sviluppo del modello, esse forniscono solo informazioni limitate e non ci raccontano l’intera storia, come la fluidità o un confronto con le prestazioni umane. A tal fine, è stato condotto una valutazione umana, in cui ai valutatori è stato chiesto di confrontare i riassunti del modello Pegasus con quelle umane (senza sapere quale sia quale).

L’esperimento è stato effettuato con 3 diversi set di dati e si è scoperto che i valutatori umani non preferiscono costantemente i riassunti umani a quelli prodotti da Pegasus! Inoltre, i modelli addestrati con solo 1000 esempi sono stati eseguiti quasi altrettanto bene. In particolare, con i tanto studiati dataset XSum e CNN/Dailymail, il modello raggiunge prestazioni di tipo umano utilizzando solo 1000 esempi. Questo suggerisce che grandi set di dati di esempi supervisionati non sono più necessari per la riepilogo, aprendo molti casi d’uso a basso costo.

Codice PEGASUS e rilascio del modello

Per sostenere la ricerca in corso in questo campo e garantire la riproducibilità, in questi giorni il team disviluppo sta rilasciando il codice PEGASUS e i checkpoint dei modelli su GitHub. Questo include il codice di messa a punto che può essere utilizzato per adattare PEGASUS ad altri set di dati di riepilogo.

Note: Il testo originale e completo relativo al rilascio di Pegasus è disponibile qui: https://ai.googleblog.com/2020/06/pegasus-state-of-art-model-for.html

Fai marketing ascoltando, non strillando.
Un abbraccio.


Commenta questo post