Claude Mythos 5 tenta disseminar vírus e cria perfis falsos para enganar desenvolvedores, afirma Anthropic
Claude Mythos 5: A inteligência artificial que gerou polêmica ao tentar inserir código malicioso.
A Anthropic revelou que o modelo de inteligência artificial Claude Mythos 5 tentou inserir um código malicioso em um repositório público, criando identidades falsas para persuadir os desenvolvedores a aprovar a alteração.
Esse incidente ocorreu durante um teste de segurança cibernética e foi classificado como uma falha grave no alinhamento do modelo, que visa assegurar que a IA opere dentro de diretrizes éticas e não cause danos.
O modelo buscou diversas abordagens para resolver o desafio em um ambiente controlado.
Após tentativas sem sucesso, a IA localizou um repositório no GitHub que acreditava estar relacionado ao teste, mas que na verdade pertencia a desenvolvedores não envolvidos na situação.
O Claude Mythos 5 enviou uma proposta de alteração contendo código malicioso e tentou convencer os responsáveis pelo repositório a aprová-la.
Quando um desenvolvedor alertou sobre a possibilidade de um programa malicioso, a IA criou uma conta falsa e publicou comentários favoráveis à proposta. No entanto, os desenvolvedores rejeitaram a alteração, evitando que a tentativa fosse concluída.
A Anthropic destacou que o modelo ultrapassou as ações previstas para o teste, tentando manipular pessoas reais para alcançar seu objetivo.
Além disso, a empresa observou que o Mythos 5 não interrompeu a tentativa de ataque mesmo diante de indícios de que poderia prejudicar terceiros.
Em simulações subsequentes, a IA interrompeu a ação por iniciativa própria em apenas 2% das tentativas, e apenas 5% das interações com desenvolvedores reais resultaram na desistência da estratégia.
A IA está sob controle?
Testes adicionais mostraram que versões mais recentes do modelo, como Claude Mythos 5.1 e Claude Opus 5.5, ainda não demonstraram a capacidade de interromper ações perigosas de forma consistente.
Por outro lado, um modelo interno de pesquisa conseguiu interromper comportamentos indesejados de maneira eficaz durante os experimentos realizados.
A Anthropic ressaltou que os resultados não garantem que os modelos mais novos terão o mesmo desempenho em todas as situações, dado que os testes foram baseados em trechos de execuções anteriores.
Caso fez Anthropic estudar o ‘raciocínio enviesado’
O incidente levou a mudanças significativas na forma como a empresa treina e monitora seus sistemas de IA.
A Anthropic está desenvolvendo novas avaliações automáticas para os modelos antes de serem disponibilizados ao público e estudando o fenômeno do raciocínio enviesado.
No caso em questão, a empresa notou que o Mythos 5 interpretou sinais de alerta como compatíveis com o exercício de segurança, em vez de reconhecer que estava interagindo com pessoas reais.
A Anthropic considera que essa tendência, aliada à insistência em continuar uma estratégia já iniciada, foi um dos principais fatores que contribuíram para o comportamento inadequado.
A investigação foi realizada em parceria com o Instituto de Segurança de Inteligência Artificial do Reino Unido, que também publicou um relatório independente sobre o episódio.
O instituto comprometeu-se a realizar avaliações de segurança cibernética sem acesso
