Quarenta por cento das empresas podem restringir o uso de agentes de IA devido a falhas de governança

Avanço da inteligência artificial exige novas abordagens de governança nas empresas.

O crescimento dos agentes de inteligência artificial nas empresas tem gerado um debate crescente sobre segurança e responsabilidade operacional. Projeções indicam que, até 2027, uma significativa parcela das organizações poderá rebaixar ou desativar esses sistemas autônomos após identificarem falhas de governança, muitas vezes somente após sua implementação.

Um dos principais desafios enfrentados é a adoção de modelos de controle que tratam todos os agentes de IA de maneira uniforme, sem considerar suas diferenças em autonomia e acesso aos sistemas corporativos. Essa abordagem pode prejudicar a eficiência e a segurança dos projetos em andamento.

O tratamento binário da governança, que categoriza os agentes como totalmente restritos ou totalmente confiáveis, tem sido apontado como uma das principais causas de falhas. Os agentes operam em diferentes níveis de autonomia e confiança, e a aplicação indiscriminada de controles pode resultar em problemas significativos, como restrições excessivas que atrasam a entrega ou restrições insuficientes que aumentam os riscos operacionais.

Para mitigar esses riscos, é recomendado um modelo de governança proporcional, que considere os distintos níveis de autonomia dos agentes. Cada categoria deve ter limites de confiança específicos e mecanismos de supervisão adequados ao seu grau de atuação.

Quatro níveis de autonomia exigem controles distintos

O modelo de governança proposto classifica os agentes de IA em quatro níveis de autonomia distintos.

No primeiro nível, encontram-se os agentes de observação, que têm acesso restrito a informações e fornecem resultados apenas ao usuário que solicitou. Exemplos incluem a recuperação de dados e a síntese de documentos.

A governança nesse nível deve focar em controles básicos, como a definição de escopos de acesso, autenticação de usuários, registro de atividades e testes simples de funcionalidade e segurança. Os riscos são limitados principalmente à exposição de dados e à precisão dos resultados, permitindo uma abordagem mais leve e direcionada.

O segundo nível é composto por agentes de aconselhamento, que geram recomendações e relatórios a serem avaliados por humanos. Embora não atuem diretamente nos sistemas, esses agentes podem impactar decisões importantes.

A governança para esses agentes deve incluir todos os controles do primeiro nível, além de avaliações de qualidade dos resultados e treinamentos sobre níveis adequados de confiança.

No terceiro nível estão os agentes que podem executar ações, como registrar informações ou enviar comunicações, sempre com a aprovação explícita de um humano. A eficácia da revisão humana nesse nível depende de um controle significativo e de testes de segurança robustos.

Por fim, o quarto nível é composto por agentes totalmente autônomos, capazes de agir dentro de parâmetros pré-definidos sem validação individual. Neste caso, a supervisão se concentra em monitorar exceções e resultados agregados.

A governança para agentes autônomos deve ser rigorosa, incluindo monitoramento contínuo e mecanismos que permitam reverter ações em caso de violação de limites, assegurando que a responsabilidade pelos resultados permaneça com a organização.