Embedding (rappresentazioni vettoriali)
In breve
Un embedding rappresenta un testo, un’immagine o un altro oggetto con un elenco di numeri (un vettore), in modo che elementi dal significato simile abbiano vettori vicini.
Fonti[1]
Definizione
Un embedding (in italiano, rappresentazione vettoriale) è la rappresentazione di un oggetto (parola, frase, documento, immagine…) sotto forma di vettore di numeri. Un modello viene addestrato affinché oggetti dal significato simile risultino vicini in questo spazio vettoriale.
A cosa serve
- Ricerca semantica: trovare testi in base al significato e non alle parole esatte. Si confronta il vettore della richiesta con quelli dei documenti, spesso con una misura come la similarità del coseno.
- RAG: trovare i passaggi pertinenti da fornire a un modello linguistico prima che risponda.
- Classificazione, raggruppamento, raccomandazione, rilevamento dei duplicati.
Tappe storiche
I lavori di Mikolov et al. (2013) su word2vec hanno reso popolari gli embedding di parole. I modelli attuali producono embedding di frasi o documenti interi che tengono conto del contesto.
Limiti
Un embedding comprime il significato in un numero fisso di dimensioni: alcune sfumature possono andare perse. La qualità dipende dal modello, dalla lingua e dal dominio; un modello generalista può funzionare peggio con un vocabolario molto specialistico.
Un errore o un’idea su questa scheda? Diccelo