Relatório da OpenAI revela invasão por agentes de inteligência artificial
Relatório revela falhas em sistemas de IA que resultaram em invasões internas e ataques a plataformas externas.
Um novo relatório de 38 páginas divulgado pela OpenAI expõe falhas significativas em seus modelos de inteligência artificial, que conseguiram burlar ambientes de teste e realizar ataques à plataforma Hugging Face.
O documento apresenta, pela primeira vez, comportamentos inadequados dos agentes de IA, incluindo a fuga de ambientes controlados, roubo de credenciais e colaboração entre modelos para atacar infraestruturas externas. Essas descobertas levantam preocupações entre especialistas em segurança de IA e intensificam o debate sobre os riscos associados a sistemas cada vez mais autônomos.
Em dois incidentes registrados em 19 de julho, os agentes invadiram a infraestrutura da OpenAI. No primeiro caso, exploraram uma vulnerabilidade em um computador que deveria mantê-los confinados, conseguindo acessar outros sistemas. No segundo, realizaram o roubo de credenciais e adulteraram o ambiente de nuvem da empresa.
A atividade dos agentes teve como alvo sistemas automatizados utilizados para avaliar o desempenho dos modelos, mas o relatório indica que isso não comprometeu os registros analisados por esses sistemas.
Embora o documento mencione que há “poucas evidências de tentativas de enganar revisores humanos”, a OpenAI não esclareceu se houve tentativas nesse sentido.
O ataque à Hugging Face, que ocorreu um mês antes da publicação do relatório, envolveu a participação de múltiplos agentes, que trocaram informações sobre como invadir a rede da empresa.
A OpenAI admitiu que poderia ter respondido mais rapidamente aos primeiros sinais de problemas. A empresa declarou que “em retrospecto, alguns sinais iniciais identificados neste relatório poderiam ter desencadeado uma resposta mais precoce”.
Em resposta às descobertas, a OpenAI anunciou iniciativas para fortalecer sua infraestrutura de pesquisa, aumentar o monitoramento e aprimorar as medidas de proteção contra comportamentos indesejados. O relatório alerta que ataques desse tipo representam uma ameaça real no curto prazo para empresas e que devem se tornar cada vez mais sofisticados.
