LLM (grande modello linguistico)

Definizione

Un LLM (Large Language Model, «grande modello linguistico») è una rete neurale addestrata su corpora di testo molto ampi. Il suo addestramento di base consiste nel prevedere la parola (o, più precisamente, il token) successiva in una sequenza. Ripetendo questa operazione miliardi di volte, il modello acquisisce una rappresentazione statistica della lingua, della grammatica, di parte delle conoscenze presenti nei suoi dati e di alcuni schemi di ragionamento.

Come funziona

• Tokenizzazione: il testo viene suddiviso in unità chiamate token (parole, frammenti di parole, segni di punteggiatura), convertite in numeri.
• Architettura Transformer: la maggior parte degli LLM attuali si basa su questa architettura, introdotta nel 2017. Il suo meccanismo di attenzione permette al modello di pesare l’importanza di ogni parte del testo in ingresso per produrre il seguito.
• Pre-addestramento: il modello impara a prevedere il token successivo su un corpus enorme.
• Messa a punto: una fase aggiuntiva (per esempio l’apprendimento da feedback umano) rende il modello più utile, più sicuro e più fedele alle istruzioni.
• Generazione: durante l’uso, il modello produce la risposta token dopo token, scegliendo a ogni passo tra le continuazioni più probabili.

Cosa sa fare un LLM

Scrivere e riformulare, riassumere, tradurre, rispondere a domande, classificare o estrarre informazioni, scrivere codice e dialogare in linguaggio naturale. I modelli più recenti gestiscono anche altre modalità (immagini, audio) e possono usare strumenti esterni.

Limiti da conoscere

• Allucinazioni: un LLM può produrre affermazioni false con sicurezza, perché genera testo plausibile e non una verità verificata.
• Conoscenze datate: le sue conoscenze si fermano alla fine dell’addestramento, a meno che non sia collegato a fonti aggiornate.
• Pregiudizi: riflette i bias presenti nei suoi dati di addestramento.
• Finestra di contesto limitata: elabora solo una quantità finita di testo alla volta.
• Costo: addestrare e far funzionare i grandi modelli richiede notevoli risorse di calcolo.

Un po’ di storia

L’articolo «Attention Is All You Need» (2017) introduce l’architettura Transformer. Dal 2018, famiglie di modelli come GPT e BERT mostrano l’utilità del pre-addestramento su larga scala. L’articolo su GPT-3 (2020) evidenzia che un modello molto grande può svolgere nuovi compiti a partire da pochi esempi forniti nell’istruzione. Da allora, la diffusione presso il grande pubblico tramite assistenti conversazionali ha reso gli LLM onnipresenti.

Da non confondere con

• IA generativa: categoria più ampia, che include anche la generazione di immagini, audio e video. Gli LLM ne sono il ramo testuale.
• Motore di ricerca: per impostazione predefinita un LLM non consulta una base di documenti; genera una risposta a partire da ciò che ha imparato.