Governança de agentes de IA precisa viver na camada de dados

O que aconteceu

A VentureBeat publicou um artigo patrocinado pela EDB, empresa de banco de dados, que coloca em evidência um problema emergente na arquitetura de sistemas com IA. Conforme as empresas dão aos agentes de IA a capacidade de planejar, decidir e agir em vários sistemas sem que um humano aprove cada passo, a pergunta que domina as revisões de arquitetura é: quando um agente tenta executar uma ação que nunca foi autorizada, o que de fato o impede?

A resposta, segundo o texto, não está em guard-rails sobrepostos ao modelo, mas na camada de dados, onde a ação acontece. A governança tem que ser executável e aplicada no contexto do momento, em vez de depender de políticas abstratas que existem no papel, mas não na prática.

Contexto

O texto usa um exemplo concreto para ilustrar a complexidade das regras contextuais: a instrução "nunca abra a porta do carro". Se seguida literalmente, um agente nunca conseguiria entrar ou sair do veículo. Mas se o carro sofreu um acidente, pegou fogo ou alguém está ferido, a regra correta é exatamente o oposto. O contexto do momento muda tudo. Agentes precisam de regras inteligentes porque são solicitados a fazer coisas inteligentes.

Os guard-rails tradicionais, como instruções, políticas e monitoramento, são úteis, mas compartilham um limite estrutural. Eles dependem da previsibilidade da saída do agente. A autonomia é justamente a propriedade que torna essa saída imprevisível. Uma governança que revisa a ação antes que ela ocorra não acompanha um sistema que age em milissegundos, em vários sistemas ao mesmo tempo.

Por que importa

A responsabilidade pelo que os agentes fazem é da empresa que os opera. São seus agentes, rodando em seus modelos, tocando seus dados, na sua infraestrutura. Essa responsabilidade não pode ser resolvida depois do fato, com retrospectiva, nem com políticas abstratas sem aplicação prática. A governança precisa viver na camada de dados, onde os agentes realmente trabalham, e exatamente no momento em que a ação está acontecendo.

Para arquitetos de sistemas, isso muda o ponto de aplicação das regras. Em vez de confiar em uma camada de controle acima do modelo, que tenta prever cada comportamento, a governança deve ser executada junto ao dado, com regras que reagem ao contexto imediato.

Impacto

O impacto prático é direto: as empresas precisam repensar onde colocam suas políticas de segurança e conformidade. Os mecanismos de guarda no nível do agente são necessários, mas insuficientes. Eles falham exatamente quando o agente age de forma imprevista, algo inerente à autonomia.

A solução apontada é deslocar a governança para a camada de dados, tornando-a executável. Isso significa que as regras precisam estar embutidas na infraestrutura onde os dados trafegam, e não em um documento de políticas. A diferença é entre uma regra que se consulta e uma regra que se aplica no momento da ação.

O que muda

Na prática, os arquitetos de sistemas devem tratar a camada de dados como o ponto de aplicação da governança. Políticas abstratas, como a da porta do carro, só funcionam se forem interpretadas no contexto. A governança executável considera o estado atual do sistema, o evento em curso e as permissões específicas para aquela ação.

A EDB, que apresentou o artigo, defende que a governança deve ser incorporada aos dados, permitindo que o agente receba regras no momento exato em que age. Isso não elimina a necessidade de monitoramento, mas reduz a dependência de prever todas as saídas possíveis do modelo.

O que vem agora

O artigo não apresenta prazos ou produtos específicos, mas sinaliza uma tendência para as revisões de arquitetura. À medida que mais empresas implementam agentes autônomos, a pergunta sobre quem controla a ação não autorizada vai se tornar central em conselhos de tecnologia.

A expectativa é que a governança no nível da camada de dados ganhe mais ferramentas e métodos nos próximos ciclos de desenvolvimento. Enquanto isso, a orientação para as empresas é clara: em vez de adicionar camadas de controle acima do agente, é preciso integrar as regras na estrutura onde os dados vivem.