Pesquisador da Anthropic pede demissão e critica irresponsabilidade das empresas com a vida das pessoas

Pesquisadores alertam sobre riscos da inteligência artificial e sua evolução potencial.

Recentemente, um número alarmante ganhou destaque nas redes sociais: a probabilidade de a inteligência artificial causar a extinção da humanidade pode ultrapassar 10% na próxima década. Essa afirmação vem de Evan Hubinger, um pesquisador da Anthropic, e foi corroborada por Jacob Coxon, que recentemente deixou a empresa, expressando preocupações sobre a responsabilidade das companhias de IA em relação à segurança humana.

Hubinger acredita que o risco atual representado pelos modelos de IA é baixo, mas o futuro é incerto. O verdadeiro perigo reside na possibilidade de uma superinteligência emergir por meio do autoaperfeiçoamento recursivo, onde sistemas de IA se tornam capazes de desenvolver versões ainda mais avançadas de si mesmos.

Coxon, que decidiu se desligar da Anthropic, enfatiza que os próximos anos serão cruciais. Ele alerta para a necessidade de cautela por parte de empresas como OpenAI e Anthropic, que estão em uma corrida para desenvolver IA, algo que se torna desafiador quando essa tecnologia já está sendo utilizada para acelerar a pesquisa em IA.

O debate sobre como a IA poderia ameaçar a humanidade é dividido em duas categorias principais. A primeira, mais dramática, envolve a perda de controle sobre sistemas de IA que poderiam ter objetivos incompatíveis com os da humanidade. A segunda, menos sensacional, refere-se ao uso da IA para fins nefastos, como a criação de vírus mortais ou ataques cibernéticos a infraestruturas críticas.

Para que a previsão de 10% se concretize, seria necessário que sistemas de IA superassem a inteligência humana, acelerassem o desenvolvimento de suas versões sucessoras e adquirissem autonomia para operar sem supervisão. Contudo, essa estimativa é subjetiva e carece de evidências concretas, podendo variar significativamente.

A preocupação em torno desses riscos é real e compartilhada por muitos na área. Hubinger, que lidera a estratégia de alinhamento na Anthropic, é responsável por garantir que os modelos da empresa operem em harmonia com os interesses humanos. A inquietação é especialmente palpável entre os veteranos da indústria, que reconhecem o potencial de um desastre. A renúncia de Coxon à empresa reforça a gravidade de suas preocupações, embora não prove que suas crenças sejam corretas.

Coxon menciona que os desenvolvedores de IA acreditam sinceramente que a tecnologia pode representar uma ameaça existencial até o final da década. Essa não é uma estratégia de marketing, mas uma preocupação genuína entre aqueles que trabalham no setor. Ele observa que, embora a Anthropic busque um alinhamento responsável, a pressão competitiva pode levar outras empresas a negligenciar a segurança.

A China complica as coisas

A inquietação em relação à IA não é exclusiva do Ocidente. Na China, há um crescente interesse em pesquisar a segurança de agentes de IA, com especialistas abordando questões como a perda de supervisão humana e o autoaperfeiçoamento recursivo. Relatórios recentes destacam essas preocupações e envolvem figuras renomadas na formulação de estratégias de segurança e governança.

Embora as preocupações existam, a forma como são expressas publicamente na China difere da abordagem mais aberta observada no Vale do Silício. A falta de transparência nas discussões sobre riscos pode dificultar a colaboração internacional necessária para mitigar esses desafios.

Coxon sugere que um acordo entre empresas como Anthropic e OpenAI seria um primeiro passo importante, mas que um esforço colaborativo global, incluindo a China, é essencial. Ele compara a necessidade de controle sobre o poder computacional avançado ao tratamento de materiais nucleares, enfatizando a importância de um diálogo internacional sobre segurança em IA.

Ainda assim, a busca por modelos de IA continua. Os especialistas reconhecem os riscos, mas também enxergam as oportunidades que a tecnologia pode proporcionar, como avanços na medicina e descobertas científicas. Existe a crença de que, se a superinteligência for viável, alguém a desenvolverá, tornando imperativo que as empresas não fiquem para trás.