Ex-pesquisador da Anthropic alerta sobre preocupações com a velocidade da IA

Ex-pesquisador alerta sobre o avanço acelerado da inteligência artificial e seus riscos.

Um ex-pesquisador da Anthropic expressou preocupações sobre a rápida evolução dos modelos de inteligência artificial, afirmando que o cenário futuro pode ser alarmante. Jacob Coxon, de 28 anos, fez essa declaração durante sua participação no programa The Daily Show, destacando a necessidade de uma discussão mais ampla sobre os riscos associados a sistemas superinteligentes.

Coxon, que deixou a Anthropic no mês passado, argumenta que a indústria está avançando em um ritmo perigoso, sem os controles necessários para garantir a segurança. Ele enfatiza que a velocidade com que as capacidades dos modelos estão sendo aprimoradas, especialmente os que devem ser treinados até 2027, é preocupante. Além disso, um incidente de segurança envolvendo a OpenAI reforçou suas apreensões.

O episódio mencionado ocorreu em julho, quando modelos com proteções inadequadas conseguiram contornar controles de segurança, obtendo acesso à internet e comprometendo o ambiente de pesquisa da OpenAI. A empresa reconheceu que seus sistemas se tornaram suficientemente avançados para explorar vulnerabilidades em múltiplos sistemas, o que foi descrito como um “tiro de aviso” para a indústria.

Coxon destacou que a situação é ainda mais alarmante quando se considera a possibilidade de agentes de IA desenvolverem capacidades de hackeamento. Ele se referiu a esse comportamento como uma decisão preocupante dos próprios sistemas de inteligência artificial.

Após sua saída da Anthropic, Coxon se tornou uma voz ativa contra o que considera uma corrida desenfreada em direção à superinteligência. Ele alertou que as empresas estão apostando com a segurança da sociedade, e que a tecnologia pode, em um futuro próximo, representar uma ameaça existencial. Essa visão é compartilhada por alguns colegas do setor, que também reconhecem a necessidade de um maior escrutínio sobre a IA avançada.

A Anthropic, conhecida por seu compromisso com a segurança em IA, tem promovido uma política de escalonamento responsável, exigindo testes rigorosos de segurança para novos modelos. O diretor-executivo da empresa, Dario Amodei, tem reiterado que sistemas futuros poderão desenvolver capacidades perigosas de forma inesperada, o que reforça a necessidade de uma abordagem cautelosa no desenvolvimento de IA.

No dia 5 de outubro, Coxon testemunhou perante o Conselho Municipal de Nova York, onde discutiu a necessidade de novas regulamentações para empresas de IA. Ele argumentou que as atuais medidas de controle, como botões de desligamento, são insuficientes para lidar com os desafios apresentados por modelos avançados. Coxon pediu uma desaceleração no desenvolvimento desses sistemas, enfatizando que a indústria ainda não encontrou formas eficazes de controlar a inteligência artificial.

A audiência revelou uma crescente divisão entre os que acreditam na autorregulação das empresas de IA e os que defendem a supervisão governamental. A presidente da Câmara Municipal de Nova York, Julie Menin, apoia a criação de novas exigências para as desenvolvedoras, visando proteger denunciantes e garantir validação independente dos sistemas de IA.

Apesar das preocupações, Coxon também vê um potencial positivo na tecnologia, sugerindo que, se desenvolvida com segurança, a IA pode levar a um futuro de abundância. Ele mencionou que a automação pode substituir muitos empregos, mas que os benefícios econômicos poderiam ser redistribuídos entre a população.

A discussão sobre a regulação da IA está se intensificando em Washington, com a recente formação de uma força-tarefa federal para coordenar os esforços do governo em manter a liderança dos Estados Unidos na área de inteligência artificial.