Guardrails de IA complicam pesquisa em cibersegurança e intensificam discussão sobre modelos restritivos
Críticas surgem sobre restrições em inteligência artificial que afetam pesquisa em cibersegurança.
Os mecanismos de segurança implementados em modelos avançados de inteligência artificial, projetados para evitar o uso indevido da tecnologia em ataques cibernéticos, têm gerado controvérsias entre especialistas em segurança. As restrições impostas por empresas líderes na área, como OpenAI e Anthropic, estão limitando também atividades legítimas de identificação de vulnerabilidades e testes de proteção de sistemas.
O debate se intensificou após a adoção de controles mais rigorosos sobre modelos de inteligência artificial, especialmente após o governo dos Estados Unidos impor restrições ao acesso a ferramentas avançadas da Anthropic voltadas para cibersegurança. Desde então, muitos pesquisadores têm relatado um aumento nas recusa dos modelos em realizar tarefas de análise de vulnerabilidades, mesmo quando estas são solicitadas em contextos defensivos.
Especialistas afirmam que as barreiras de segurança nem sempre conseguem diferenciar atividades maliciosas de pesquisas legítimas realizadas por profissionais autorizados. Como resultado, tarefas comuns, como análise de código e avaliação de falhas, podem ser interrompidas automaticamente pelos sistemas de proteção dos modelos, prejudicando o trabalho de segurança cibernética.
Um renomado pesquisador na área de segurança, conhecido por descobrir vulnerabilidades utilizadas em operações de inteligência, considera problemático que a definição do que é aceitável em pesquisas de segurança esteja nas mãos de empresas privadas. As decisões sobre os limites de uso da tecnologia, segundo ele, tendem a ser arbitrárias em um campo tão especializado.
Profissionais da indústria também relatam dificuldades práticas. Um especialista de uma empresa de componentes para smartphones, que pediu anonimato, mencionou que sua organização enfrenta desafios ao tentar utilizar os modelos para pesquisas de vulnerabilidade, devido à falta de participação em programas especiais de acesso. Ele ressaltou que qualquer atividade identificada como relacionada à segurança resulta na interrupção da interação com a ferramenta.
Restrições afetam produtividade e favorecem alternativas abertas
Além das recusas automáticas, especialistas notam inconsistências no comportamento dos modelos. O CEO de uma empresa de segurança cibernética destacou que as restrições podem mudar rapidamente, inclusive dentro dos programas de acesso privilegiado oferecidos por empresas de IA. Isso resulta em perda de tempo tentando reformular solicitações para contornar recusas indevidas, o que diminui a produtividade das equipes de pesquisa.
A discussão ocorre em um contexto de crescente preocupação com o equilíbrio entre segurança e inovação em inteligência artificial. Empresas desenvolvedoras argumentam que essas medidas são essenciais para prevenir o uso da tecnologia na criação de malware ou na exploração automatizada de vulnerabilidades.
Por outro lado, pesquisadores alertam que agentes maliciosos podem utilizar modelos de código aberto ou ferramentas desenvolvidas em outros países, enquanto os profissionais de defesa enfrentam restrições adicionais. Essa assimetria pode, segundo eles, comprometer a capacidade das organizações de identificar falhas antes que sejam exploradas por criminosos.
O tema ganhou destaque após um incidente em que uma empresa de tecnologia teve dificuldades para utilizar modelos comerciais durante uma análise forense de um ataque cibernético. Os sistemas de segurança interpretaram as solicitações como potencialmente ofensivas, levando a empresa a recorrer a um modelo aberto para concluir a investigação, o que levantou questões sobre a eficácia dos mecanismos de proteção em situações legítimas de resposta a incidentes.
Apesar das críticas, especialistas não advogam pela eliminação total dos mecanismos de segurança. O foco deve ser na criação de sistemas que consigam diferenciar pesquisadores autorizados de usuários mal-intencionados, permitindo um acesso controlado para atividades defensivas, sem aumentar significativamente os riscos de uso indevido da tecnologia.
