Inteligência artificial · Na prática · 6 min de leitura
Avaliação (evals) e alucinação
Sem medir, não dá para saber se uma mudança melhorou o sistema. Conjuntos de teste, métricas e revisão humana controlam a qualidade e as invenções do modelo.
Arraste para o lado para ver o diagrama inteiro.
Por que o modelo alucina
O modelo é treinado para produzir texto plausível, não para dizer “não sei”. Quando falta informação no contexto ou no treinamento, ele pode completar com algo coerente e falso — nomes, números, citações.
Como reduzir
- Dar as fontes (RAG) e pedir para responder só com base nelas, citando.
- Permitir explicitamente “não encontrei essa informação”.
- Usar ferramentas para cálculos e consultas em vez de “de cabeça”.
- Verificar automaticamente: o trecho citado existe? O número confere?
Avaliação na prática
Monte dezenas a centenas de casos representativos com a resposta esperada. Meça com regras automáticas quando possível, use um LLM avaliador com rubrica para respostas abertas e revise uma amostra manualmente. Acompanhe também em produção (feedback dos usuários, respostas recusadas).
Em resumo
- Alucinação = texto plausível sem base.
- Fontes + permissão para “não sei” reduzem o problema.
- Conjunto de testes fixo a cada mudança.
- Combine métricas, LLM avaliador e revisão humana.