Inteligência artificial · Fundamentos · 7 min de leitura
Transformer e atenção: a arquitetura por trás dos LLMs
O Transformer processa o texto inteiro em paralelo e usa a atenção para decidir, a cada token, quais outros tokens importam para entendê-lo.
Arraste para o lado para ver o diagrama inteiro.
Atenção em uma frase
Para cada token, a atenção compara uma consulta (query) com as chaves (keys) de todos os outros tokens e usa essas notas para misturar os seus valores (values). Em “o banco estava cheio de peixes”, a palavra “banco” presta atenção a “peixes” e entende que é um banco de areia, não uma agência.
Multi-cabeça e camadas
Várias “cabeças” de atenção trabalham em paralelo, cada uma aprendendo um tipo de relação (sintaxe, referência, tema). Depois, uma rede feed-forward transforma cada token. Conexões residuais e normalização mantêm o treinamento estável em redes muito profundas.
Por que foi uma revolução
- Processa o texto em paralelo (redes recorrentes iam palavra por palavra), o que permitiu treinar com muito mais dados.
- Relaciona palavras distantes diretamente.
- O custo da atenção cresce com o quadrado do tamanho do contexto — por isso contextos longos são caros e há muita pesquisa em atenção mais eficiente.
Em resumo
- Atenção decide quais tokens importam para cada token.
- Query, key e value são as três projeções da atenção.
- Blocos iguais empilhados formam o modelo.
- Custo cresce com o quadrado do contexto.