RAG: geração aumentada por recuperação

Por que RAG

O LLM não conhece seus documentos internos nem fatos posteriores ao treinamento. Em vez de treinar de novo, o RAG recupera os trechos relevantes no momento da pergunta e os coloca no contexto. O modelo responde com base neles e pode citar de onde tirou cada parte.

As peças

1. Ingestão: extrair texto, dividir em trechos, gerar embeddings e indexar com metadados.
2. Recuperação: busca vetorial, muitas vezes combinada com busca por palavras (híbrida) e filtros de permissão.
3. Reranking: um modelo menor reordena os candidatos pela relevância real.
4. Geração: um prompt com instruções do tipo “responda só com base nas fontes e cite-as”.

Erros comuns

• Trechos grandes demais (diluem o sentido) ou pequenos demais (perdem contexto).
• Não respeitar permissões: o índice pode vazar documentos para quem não deveria vê-los.
• Não medir: sem um conjunto de perguntas de teste, não dá para saber se uma mudança melhorou ou piorou.

Variações

RAG agêntico: o modelo decide quando e o que buscar, em várias rodadas. GraphRAG: usa um grafo de entidades e relações para perguntas que cruzam muitos documentos.