Pesquisador alerta sobre riscos da IA e deixa setor em meio a acusações de negligência das empresas

Pesquisador abandona setor de IA, alertando sobre riscos iminentes.

Um pesquisador de inteligência artificial que deixou a OpenAI para trabalhar na Anthropic decidiu se afastar do setor, acusando ambas as empresas de negligenciar a segurança em sua busca por modelos de IA autossuficientes.

Jacob Coxon, de 27 anos, dedicou os últimos três anos ao pré-treinamento de modelos de IA, primeiro na OpenAI e, mais recentemente, na Anthropic, que ele via como uma alternativa mais responsável. O pré-treinamento é crucial, pois é quando os modelos assimilam grandes quantidades de dados.

“As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar a todos nós até o final da década”, afirmou o pesquisador em uma postagem nas redes sociais. “Isso não é uma jogada de marketing.”

Coxon expressou suas preocupações em uma entrevista, destacando que, em cenários mais pessimistas, a situação poderia sair do controle já no próximo ano. Um dos principais riscos mencionados é a possibilidade de a IA se desenvolver de forma independente, tornando-se difícil de controlar.

“Nenhuma das empresas age de forma responsável. Elas correm diretamente em direção a uma superinteligência capaz de se autoaperfeiçoar e jogam com as nossas vidas”, disse Coxon.

Corrida pela liderança ignora os riscos

Evan Hubinger, executivo da Anthropic, endossou as declarações de Coxon, afirmando que a empresa acredita que a IA pode representar um risco significativo para a humanidade. Segundo ele, a probabilidade de um evento catastrófico ocorrer na próxima década é superior a 10%.

Embora Hubinger tenha afirmado que a Anthropic está fazendo o possível para mitigar esses riscos, ele reconheceu a falta de um plano definitivo que assegure que sistemas de IA mais avançados obedeçam aos seus criadores. No entanto, ele enfatizou que o risco com os modelos atuais ainda é considerado baixo.

A saída de Coxon ocorre em um momento delicado para a Anthropic, que se prepara para sua estreia no mercado de ações, após enfrentar invasões não autorizadas durante testes com ferramentas de IA.

Os líderes do setor de IA alertam que o chamado “autoaperfeiçoamento recursivo”, onde sistemas de IA podem projetar e treinar novas gerações com mínima intervenção humana, está se aproximando rapidamente.

Coxon elogiou os esforços da Anthropic, mas acredita que nenhuma empresa conseguirá desenvolver uma IA que supere a inteligência humana de maneira responsável sem uma intervenção governamental ou uma desaceleração coordenada do setor.

“Na Anthropic, os riscos envolvidos são bem compreendidos, mas eles estão presos em uma corrida para chegar lá primeiro; acreditam que ninguém mais agirá com responsabilidade”, afirmou.

Necessidade de regulamentação

Em fevereiro, a Anthropic removeu de sua carta de princípios de segurança o compromisso de interromper o desenvolvimento de seus modelos caso não conseguisse controlar os riscos associados à tecnologia. A empresa argumentou que uma suspensão unilateral poderia beneficiar concorrentes menos cautelosos.

Em julho, mais de mil profissionais de tecnologia, incluindo o CEO da Anthropic, solicitaram ao governo dos EUA uma desaceleração coordenada no desenvolvimento de sistemas de IA avançados.

A OpenAI também fez uma pausa em agosto no treinamento de seus modelos mais recentes, retomando apenas sob condições mais rigorosas. O cientista-chefe da empresa, Jakub Pachocki, defendeu a necessidade de uma abordagem cautelosa.

“A coordenação internacional sobre o desenvolvimento futuro da IA precisa se tornar uma prioridade máxima para governos de todo o mundo”, afirmou Pachocki.

Atualmente, os modelos de IA não são regulamentados por legislação federal nos Estados Unidos. Em setembro, um projeto de lei foi apresentado para suspender o desenvolvimento de IA até que um órgão regulador federal seja criado.