Cientista-chefe da OpenAI alerta sobre riscos do avanço da inteligência artificial
Avanços e desafios da Inteligência Artificial: um alerta sobre o futuro
O cientista-chefe da OpenAI, Jakub Pachocki, publicou um ensaio que destaca a rápida evolução da inteligência artificial (IA) e a necessidade de cautela no desenvolvimento de sistemas cada vez mais avançados.
Segundo Pachocki, a expectativa é de que o ritmo atual de progresso continue até o que ele chama de autoaperfeiçoamento recursivo (RSI), onde os sistemas de IA poderiam impulsionar seu próprio desenvolvimento. Este cenário exige intervenções significativas para garantir que a tecnologia permaneça sob controle humano.
IA está mais difícil de compreender
No ensaio, o cientista menciona uma mudança significativa desde 2023, quando o projeto de pesquisa RLSlow demonstrou que modelos de raciocínio poderiam ser ampliados. Três anos depois, esses sistemas já são capazes de operar computadores, colaborar com humanos e realizar projetos de pesquisa.
Pachocki também destaca os avanços na segurança cibernética, mas alerta que, à medida que os modelos se tornam mais sofisticados, seus resultados se tornam mais difíceis de interpretar. Ele afirma que a inteligência gerada por deep learning não é diretamente comparável à inteligência humana, o que torna desafiador entender as capacidades dos sistemas.
A complexidade dos modelos de IA é um fator que contribui para essa dificuldade. Pachocki explica que a IA é mais “cultivada” do que projetada, resultando de processos de otimização em grandes quantidades de computação, tornando seu funcionamento geral ainda não completamente compreensível.
Alinhamento ainda é um desafio
Outro aspecto essencial abordado no ensaio é o alinhamento da IA, que se refere ao esforço para garantir que os sistemas ajam de acordo com padrões e objetivos humanos. Pachocki distingue entre alinhamento de objetivos e alinhamento de valores, sendo este último crucial para a capacidade de generalizar princípios em novas situações.
O desafio surge quando sistemas mais inteligentes operam em ambientes diferentes dos que foram treinados, dificultando a aplicação dos valores ensinados. Pachocki enfatiza que futuras IAs devem manter valores humanos, mesmo quando não estão sob supervisão direta.
A OpenAI adota diversas abordagens para enfrentar essa questão, uma delas sendo o monitoramento da cadeia de pensamento, que analisa o raciocínio verbalizado dos modelos. No entanto, Pachocki observa que a capacidade de depender desse monitoramento está diminuindo, devido à complexidade crescente dos ambientes em que os modelos operam.
Por que continuar desenvolvendo modelos mais poderosos?
Ainda que Pachocki emita alertas, ele não defende a interrupção do desenvolvimento. Ele argumenta que é necessário continuar a treinar modelos mais inteligentes para criar sistemas de defesa contra os riscos que outras IAs podem representar.
O cientista ressalta a importância da cibersegurança, uma vez que os modelos estão se tornando cada vez mais capazes de invadir sistemas computacionais, aumentando os riscos associados à tecnologia. Ele acredita que a OpenAI deve utilizar os modelos mais avançados disponíveis para fortalecer a segurança de infraestruturas críticas.
Entretanto, Pachocki adverte que a necessidade de construir defesas não deve justificar um avanço imprudente. Para ele, a ideia de avançar a qualquer custo deve ser reavaliada à luz dos riscos envolvidos.
OpenAI discute desaceleração do desenvolvimento
No contexto do autoaperfeiçoamento recursivo, Pachocki observa que, se o progresso da IA continuar, a participação das máquinas no próprio desenvolvimento tende a aumentar, tornando o RSI fundamental para futuras descobertas científicas.
Ele sugere que a comunidade deve escolher entre duas alternativas: fortalecer o alinhamento e o monitoramento, mantendo humanos envolvidos no ciclo de desenvolvimento, ou coordenar uma desaceleração do avanço enquanto se busca maior confiança nas medidas de segurança. A combinação das duas abordagens é vista como a melhor opção atualmente.
Pachocki também defende que o avanço dos sistemas deve ser condicionado à confiança nas medidas de segurança, propondo que comprom
