Token

Definição

Um token é uma unidade de texto que o modelo lê e produz. Consoante o tokenizador, pode ser uma palavra inteira, um fragmento de palavra, um carácter isolado ou um sinal de pontuação. O texto é dividido em tokens e cada token é convertido num identificador numérico.

Porque não palavras inteiras?

Os tokenizadores modernos usam subpalavras (por exemplo, através do algoritmo Byte Pair Encoding, adaptado ao processamento de linguagem no artigo de Sennrich et al.). Assim é possível representar palavras raras ou desconhecidas decompondo-as em fragmentos conhecidos, com um vocabulário de tamanho razoável.

Porque é importante

• Extensão: a janela de contexto de um modelo mede-se em tokens, não em palavras.
• Custo: o acesso aos modelos por API é geralmente faturado pelo número de tokens processados (de entrada e de saída); as assinaturas para o grande público são, em geral, de preço fixo, com limites de utilização.
• Línguas: o mesmo texto pode exigir mais tokens consoante a língua e o tokenizador, o que influencia o custo e o espaço disponível no contexto.

Ordem de grandeza

Não existe uma conversão universal entre palavras e tokens: depende do tokenizador e da língua. Para um número fiável, use a ferramenta de contagem do fornecedor do modelo.