Inteligência artificial · Fundamentos · 6 min de leitura
O que é um LLM e como ele gera texto
Um modelo de linguagem grande prevê o próximo pedaço de texto, um token por vez, a partir de tudo o que já está na conversa.
Arraste para o lado para ver o diagrama inteiro.
Previsão do próximo token
Um LLM (large language model) é uma rede neural treinada com uma quantidade enorme de texto para uma tarefa simples: dado um trecho, prever o que vem em seguida. O texto é dividido em tokens — pedaços de palavras —, e o modelo devolve uma probabilidade para cada token possível. Um deles é escolhido, entra no texto, e o processo se repete.
Por que parece entender
Para prever bem em milhões de assuntos, o modelo aprende padrões de gramática, fatos, raciocínios e estilos. Depois do pré-treinamento, ele passa por um ajuste com exemplos de instruções e com preferências humanas, que o deixam útil numa conversa. Mesmo assim, ele não consulta uma base de dados por padrão: responde com o que aprendeu e com o que está no contexto.
Temperatura e criatividade
Na hora de escolher o token, a temperatura controla a ousadia: perto de zero, o modelo quase sempre pega o mais provável (respostas mais estáveis); valores maiores trazem variedade e também mais erros.
Limites que importam
- Janela de contexto: o modelo só “vê” uma quantidade limitada de tokens de cada vez.
- Alucinação: pode gerar algo plausível e falso quando não tem a informação.
- Data de corte: não sabe o que aconteceu depois do treinamento, a menos que você forneça.
Em resumo
- Gera texto prevendo um token por vez.
- Tokens são pedaços de palavras, não palavras inteiras.
- Temperatura troca estabilidade por variedade.
- Para fatos atuais ou privados, combine com busca (RAG) ou ferramentas.