Embeddings (representações vetoriais)
Em resumo
Um embedding representa um texto, uma imagem ou outro objeto através de uma lista de números (um vetor), de modo que elementos com significado próximo tenham vetores próximos.
Fontes[1]
Definição
Um embedding (em português, representação vetorial ou incorporação) é a representação de um objeto (palavra, frase, documento, imagem…) sob a forma de um vetor de números. Um modelo é treinado para que objetos com significado próximo fiquem próximos nesse espaço vetorial.
Para que serve
- Pesquisa semântica: encontrar textos pelo significado e não pelas palavras exatas. Compara-se o vetor da pesquisa com os dos documentos, muitas vezes com uma medida como a semelhança do cosseno.
- RAG: encontrar as passagens relevantes a fornecer a um modelo de linguagem antes de ele responder.
- Classificação, agrupamento, recomendação, deteção de duplicados.
Marcos históricos
Os trabalhos de Mikolov et al. (2013) sobre o word2vec popularizaram as representações vetoriais de palavras. Os modelos atuais produzem representações de frases ou documentos inteiros que têm em conta o contexto.
Limites
Um embedding comprime o significado num número fixo de dimensões: podem perder-se nuances. A qualidade depende do modelo, da língua e do domínio; um modelo generalista pode sair-se pior com vocabulário muito especializado.
Um erro ou uma ideia sobre esta ficha? Diga-nos