Inteligência artificial · Fundamentos · 5 min de leitura
Tokens e janela de contexto
Modelos leem e cobram por tokens, e só enxergam uma quantidade limitada deles de cada vez. Entender isso evita respostas cortadas e contas altas.
Arraste para o lado para ver o diagrama inteiro.
O que é um token
Um token é um pedaço de texto definido pelo tokenizador do modelo: palavras comuns viram um token, palavras raras se quebram em vários. Em português, uma palavra costuma virar mais de um token, e números, código e emojis também consomem bastante.
Janela de contexto
É o máximo de tokens que o modelo considera de uma vez — instruções, histórico, documentos, resultados de ferramentas e a própria resposta. Quando a conversa passa do limite, algo precisa sair: as mensagens mais antigas são cortadas ou resumidas.
Custo e qualidade
- APIs cobram por token de entrada e de saída; reenviar o histórico inteiro a cada mensagem multiplica o custo.
- Contexto longo não é garantia de uso: informações no meio de textos enormes podem ser menos aproveitadas.
- Recursos como cache de prompt reduzem o custo de repetir a mesma introdução longa.
Em resumo
- Tokens são pedaços de texto, não palavras.
- A janela inclui entrada e resposta.
- Histórico longo custa caro: resuma.
- Mais contexto não significa melhor uso dele.