Guardrails e governança de agentes de IA: definição e mecanismos

Dar a um agente de IA o poder de agir sozinho, com suas próprias ferramentas, levanta de imediato uma questão de confiança: quem decide o que ele tem o direito de fazer, e como verificar depois que ele não ultrapassou esse limite? Guardrails e governança respondem juntos a essa questão, um no nível técnico de cada ação, o outro no nível organizacional do sistema como um todo.

Definição detalhada

Os guardrails são os mecanismos concretos que limitam o que um agente de IA tem o direito de fazer: permissões precisas por ação, escopo de acesso restrito, cotas, pontos de validação humana em decisões sensíveis. A governança é o quadro mais amplo em que esses guardrails são pensados, decididos e auditados: quem tem o direito de configurá-los, como se documentam os riscos, como se verifica posteriormente que o sistema se comportou como esperado.

Duas referências hoje estruturam a discussão sobre governança de IA, com lógicas diferentes. O AI Risk Management Framework do NIST (AI RMF 1.0), publicado em janeiro de 2023 nos Estados Unidos, é um framework voluntário estruturado em torno de quatro funções: Govern (governar, a função transversal que define a cultura e as responsabilidades), Map (mapear os riscos de um sistema específico), Measure (medir esses riscos) e Manage (geri-los). Já o AI Act da União Europeia, ao contrário, é um texto regulatório vinculante: para os sistemas classificados como de alto risco, ele impõe um sistema de gestão de riscos (artigo 8), uma governança dos dados de treinamento (artigo 10), documentação técnica (artigo 11), registro automático de eventos (artigo 12), transparência para os usuários e supervisão humana efetiva (artigos 13 e 14). As obrigações principais para os sistemas de alto risco entram em vigor a partir de dezembro de 2027 para os sistemas cobertos pelo anexo III, e agosto de 2028 para os cobertos pelo anexo I.

O ponto em comum entre esses dois frameworks, apesar de sua natureza diferente (voluntário contra vinculante), é a insistência na rastreabilidade (registrar o que acontece) e na supervisão humana como componentes inegociáveis de uma governança de IA séria, seja qual for a jurisdição.

Como funciona

Um sistema de guardrails eficaz atua em vários níveis, do mais amplo ao mais preciso. No nível mais amplo, decide-se quais ferramentas são conectadas a um sistema e quais categorias de ações são sequer cogitáveis. No nível intermediário, define-se quem, humano ou agente, tem o direito de usar qual ferramenta, com qual escopo (somente leitura, ou leitura e escrita). No nível mais preciso, cada ação individual é verificada no momento em que é solicitada: a permissão existe, cobre de fato essa ação específica, com argumentos válidos.

O princípio mais sólido para construir esses guardrails é o deny-by-default (recusa por padrão): nada é autorizado até que uma permissão explícita tenha sido concedida, em vez de partir de um acesso amplo que depois seria restringido caso a caso. É mais trabalhoso de implementar, mas evita o erro mais comum em segurança, o esquecimento de uma restrição em vez do esquecimento de uma autorização.

A governança, por sua vez, acrescenta uma camada de responsabilidade e de verificabilidade: quem configurou tal guardrail, quando, e se uma auditoria permite reconstituir depois o que realmente aconteceu caso surja uma dúvida.

Exemplo concreto com a Atako

Na Atako, o modelo de permissões se apoia exatamente nesse princípio de recusa por padrão. Conectar uma ferramenta (Slack, GitHub, HubSpot, ou outra integração) no nível da empresa não dá acesso a nenhum agente até que um "grant" explícito seja criado. Um grant associa um agente específico a uma conexão específica, com uma lista de ações precisas autorizadas (não um acesso genérico a todo o GitHub, mas por exemplo apenas list_issues e create_issue), um escopo (somente leitura ou leitura e escrita), e uma expiração opcional. Mesmo que uma ação de escrita fosse adicionada por engano à lista de um grant de somente leitura, o escopo mesmo assim bloquearia sua execução: é um controle duplo.

O caminho de decisão documentado pela Atako segue esse esquema: o agente expressa uma intenção de ação, a plataforma verifica se existe um grant, se a ação está na lista autorizada, se o escopo é suficiente, se os argumentos são válidos, e só então executa a chamada junto ao fornecedor terceiro e devolve o resultado ao agente, nunca o segredo de acesso em si. Cada etapa que falha gera uma recusa registrada, o que alimenta diretamente a observabilidade do agente.

Quanto à revogação, cortar o acesso é imediato e definitivo: revogar uma conexão apaga o segredo criptografado na hora, sem período de carência, e todos os agentes que dependiam dela perdem o acesso instantaneamente. É um guardrail de último recurso, pensado para agir rápido em caso de dúvida.

Erros comuns

Um erro comum é achar que conceder acesso a uma ferramenta equivale a dar um acesso completo a essa ferramenta. Um bom sistema de governança sempre distingue o acesso a um serviço (a conexão) da autorização para agir sobre ele (o grant, com suas ações e seu escopo precisos).

Segundo erro: pensar que a governança de IA se resume a burocracia regulatória sem efeito prático. Seja por meio de um framework voluntário como o do NIST, seja por um texto vinculante como o AI Act europeu, as mesmas exigências concretas se repetem: documentar os riscos, registrar as ações, manter um humano na malha nas decisões sensíveis. São mecanismos operacionais, não formalidades.

Terceiro erro: confundir guardrails técnicos com validação humana. As permissões e as cotas se aplicam automaticamente, sem intervenção humana a cada vez. A validação humana é um guardrail diferente, reservado a ações cujo risco justifica desacelerar deliberadamente o processo para que uma pessoa observe antes que a ação saia.

Por fim, subestimar a necessidade de uma auditoria acessível é um erro clássico. Guardrails que bloqueiam corretamente as ações erradas são úteis, mas sem um histórico consultável do que foi autorizado, recusado ou executado, torna-se impossível responder com tranquilidade à pergunta que um cliente ou um regulador acabará fazendo um dia: o que esse agente exatamente fez, e por quê.