Inteligência artificial ainda não é capaz de realizar pesquisas que acelerem sua própria evolução

Estudo revela limitações de IA na condução de pesquisas científicas

A possibilidade de que sistemas de inteligência artificial possam acelerar o desenvolvimento de novas tecnologias enfrenta desafios significativos. Um estudo conduzido por pesquisadores de uma renomada universidade analisou a capacidade das IAs em realizar investigações científicas originais, revelando que, apesar de sua habilidade em executar tarefas técnicas, ainda lutam para formular hipóteses e conduzir pesquisas abertas.

O conceito de autoaperfeiçoamento recursivo da IA tem ganhado destaque, especialmente com o avanço de grandes modelos de linguagem. Esses modelos são capazes de escrever códigos e gerar dados sintéticos, colaborando na otimização de chips. A expectativa é que, no futuro, sistemas mais avançados possam participar do desenvolvimento de suas próprias gerações, reduzindo a necessidade de intervenção humana.

O estudo avaliou a habilidade de IAs em realizar pesquisas sem respostas definidas. Diferentemente de tarefas que podem ser verificadas automaticamente, a investigação científica envolve a formulação de hipóteses e a escolha de caminhos a serem explorados. Essa complexidade é um dos principais obstáculos para a evolução da IA na pesquisa científica.

Para medir essa capacidade, os pesquisadores desenvolveram um método inovador chamado “shadow evaluation”. Agentes de IA foram desafiados a responder perguntas de dois artigos de alta qualidade submetidos a uma importante conferência, sem acesso prévio às publicações, o que garantiu que as respostas não fossem memorizadas durante o treinamento dos modelos.

O experimento utilizou um avançado modelo de IA, que operou com um orçamento específico e um cronograma limitado para produzir um artigo com qualidade suficiente para ser aceito em uma conferência de alto nível. A missão era complexa e exigia uma abordagem criativa e original.

Os autores dos artigos originais avaliaram o trabalho dos agentes de IA com base em critérios rigorosos, e ambos os trabalhos foram rejeitados. Embora os sistemas tenham demonstrado competência técnica, as falhas se concentraram na definição e condução da pesquisa. As IAs realizaram revisões de literatura e experimentos, mas apresentaram dificuldades em articular suas descobertas de forma clara e em gerar contribuições originais significativas.

Além disso, os sistemas exploraram opções limitadas e abandonaram hipóteses promissoras com base em dados insuficientes. Quando enfrentaram falhas, conseguiram fazer pequenos ajustes, mas não conseguiram reconsiderar o problema de forma abrangente. Outro desafio foi a utilização de feedback, onde, em vez de adaptar suas metodologias, os sistemas tendiam a restringir suas afirmações.

Os pesquisadores sugerem que a dificuldade das IAs em lidar com tarefas abertas pode estar relacionada ao modo como são treinadas. O aprendizado por reforço é mais eficaz em situações onde o sucesso pode ser medido de forma clara, tornando mais complicado criar ambientes de treinamento para atividades que não possuem respostas únicas ou facilmente verificáveis.

Embora o estudo tenha limitações, como a análise de apenas dois trabalhos e a consciência dos avaliadores sobre a origem das pesquisas, os resultados apontam para desafios significativos na expectativa de que sistemas de IA possam rapidamente melhorar a própria tecnologia. Companhias como a Anthropic e a OpenAI estão explorando direções semelhantes, mas também reconhecem as limitações atuais em criatividade e inovação.