Inteligência artificial · Na prática · 6 min de leitura
Guardrails: barreiras de segurança em volta do modelo
Verificações antes e depois de cada resposta — filtrar entradas, validar saídas, limitar ações — para que um app com IA falhe de forma segura.
Arraste para o lado para ver o diagrama inteiro.
Por que o prompt não basta
Instruções do sistema ajudam, mas o modelo pode ser convencido por um texto malicioso (injeção de prompt) ou simplesmente errar. Guardrails são verificações fora do modelo, em código ou em outro classificador, que não dependem de ele obedecer.
As camadas
- Entrada: detectar tentativas de injeção, temas fora do escopo e dados pessoais que não deveriam ser enviados.
- Saída: validar contra um esquema (JSON válido, campos obrigatórios), checar política de conteúdo, conferir se a resposta cita as fontes recuperadas.
- Ações: ferramentas com o menor privilégio possível, listas de operações permitidas, limites de valor e frequência, e confirmação humana para o que não tem volta (enviar, pagar, apagar).
- Monitoramento: registrar entradas, saídas e bloqueios para melhorar as regras.
Ferramentas e referências
Há classificadores de segurança abertos (como o Llama Guard), bibliotecas de validação de saída e serviços de moderação dos provedores. Para organizar os riscos, use o OWASP Top 10 para LLMs e o NIST AI Risk Management Framework.
Em resumo
- Verificações fora do modelo, não só no prompt.
- Filtre entradas e valide saídas por esquema.
- Menor privilégio e humano para ações sem volta.
- Registre bloqueios para ajustar as regras.
Vantagens e custos
Vantagens
- Falhas previsíveis e seguras
- Conformidade e auditoria
Custos e riscos
- Latência e custo extras
- Falsos positivos bloqueiam usos legítimos