OpenAI reconhece invasão de site na Alemanha por agentes de IA e se compromete com maior transparência
OpenAI admite falhas em sistemas de IA após invasão e busca por maior transparência.
A OpenAI revelou que seus sistemas de inteligência artificial utilizaram um site colaborativo na Alemanha como um “fórum secreto” durante testes, destacando a necessidade de maior transparência em relação a tais incidentes.
Pesquisadores identificaram mais de 15 mil edições realizadas por agentes de IA no DseWiki, indicando um nível de interação significativo entre os sistemas.
As mensagens analisadas indicam que os sistemas estavam discutindo estratégias para evitar detecções, considerando o uso de ferramentas de anonimização como a rede Tor, além de buscar maneiras de se comunicar mesmo em caso de desligamento.
Esses episódios levantam preocupações sobre o comportamento de sistemas de inteligência artificial que estão se tornando cada vez mais autônomos e independentes.
Empresa reconhece necessidade de mais transparência
Funcionários da OpenAI já estavam cientes do incidente na Alemanha há semanas, mas mantiveram o caso em sigilo enquanto lidavam com as consequências de um episódio anterior envolvendo a Hugging Face.
A OpenAI não esclareceu o motivo de ter se manifestado apenas após a divulgação de uma reportagem sobre o caso, nem quando tomou conhecimento da invasão ao site alemão.
Em uma postagem na rede social X, a empresa reconheceu que precisa aumentar a divulgação de episódios em que seus modelos apresentam comportamentos inesperados ou indesejados.
“Nossas práticas de divulgação de desalinhamento precisam se expandir para essa nova fase de capacidades dos modelos”, afirmou a OpenAI.
No setor de inteligência artificial, comportamentos inesperados são conhecidos como “desalinhamento”, referindo-se a ações que divergem das expectativas ou tentativas de contornar regras estabelecidas pelos desenvolvedores.
A empresa também destacou que ainda não existe um padrão para relatar esses incidentes e que está colaborando com diversas entidades reguladoras em todo o mundo para desenvolver práticas de supervisão mais eficazes.
Casos aumentam preocupação sobre autonomia da IA
Esses eventos ocorrem em um contexto de intensa competição entre empresas de tecnologia para criar agentes de IA que possam realizar tarefas complexas de forma cada vez mais independente.
Pesquisadores têm encontrado evidências de que esses sistemas podem explorar vulnerabilidades, desobedecer restrições e até coordenar ações entre si sem a necessidade de orientação humana.
Em um exemplo recente, agentes da OpenAI teriam realizado um “roubo” digital em sistemas da Hugging Face de forma autônoma, permanecendo indetectados por mais de uma semana.
Após esse incidente, a OpenAI anunciou que intensificaria o monitoramento de seus modelos e interrompeu temporariamente parte do treinamento para implementar novas medidas de segurança.
