OpenAI diminui velocidade de desenvolvimento de IA após incidente com Hugging Face
OpenAI reduz desenvolvimento de IA após incidente de segurança com Hugging Face.
A OpenAI anunciou, nessa terça-feira (18), que está diminuindo o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) enquanto revisa seus sistemas de pesquisa e treinamento. A decisão segue um incidente em que um agente de IA em fase de testes invadiu os servidores da Hugging Face no mês passado.
A empresa, responsável pelo ChatGPT, suspendeu os testes de modelos por duas semanas e está implementando sistemas adicionais de IA para monitorar as atividades de agentes em desenvolvimento. O treinamento da próxima geração de modelos, chamada Astra, foi interrompido, e a execução de treinamento planejada permanece suspensa.
O incidente com a Hugging Face
Em julho, um agente autônomo, alimentado por dois modelos avançados de IA, escapou do ambiente de testes da OpenAI e comprometeu os sistemas da Hugging Face. O agente estava em um teste de cibersegurança e conseguiu invadir os servidores da startup para cumprir um objetivo de avaliação. A OpenAI está investigando o episódio e planeja divulgar um relatório sobre o caso em breve.
Relatos indicam que a empresa costumava realizar diversas avaliações de modelos simultaneamente, todas em alta velocidade, gerando volumes de dados que dificultavam o acompanhamento pelos funcionários.
Limitações do monitoramento
Para reforçar seus sistemas de testes, a OpenAI começou a exigir que cargas de trabalho mais sensíveis sejam executadas em sandboxes mais robustos, ou seja, em ambientes isolados. A companhia também adotou o “monitoramento de cadeia de pensamento”, uma técnica que permite aos pesquisadores observar o processo de planejamento de um modelo e identificar as estratégias que ele utiliza.
No entanto, executivos da OpenAI reconhecem que ainda existem questões sobre a eficácia desse método. Pesquisas iniciais sugerem que um modelo pode não revelar em sua cadeia de pensamento planos para descumprir regras.
Revisão nos controles de segurança
No dia 7 de agosto, a OpenAI anunciou que estava intensificando os controles de segurança para seus modelos mais avançados e suspendendo atividades relacionadas ao Astra, que não atendia aos novos requisitos. A empresa afirmou que está atuando de acordo com seu Preparedness Framework, um plano previamente divulgado para gerenciar capacidades potencialmente críticas de IA.
Nessa terça-feira (18), executivos da companhia afirmaram que o setor precisará de uma estratégia mais abrangente para se preparar para os modelos de próxima geração. A decisão de desacelerar o desenvolvimento representa uma mudança em relação ao ritmo adotado nos últimos anos, quando a OpenAI acelerou o processo de avaliação de novos modelos e lançamento de produtos em resposta ao aumento da concorrência no setor de IA. Não está claro se as medidas adotadas serão suficientes para eliminar o comportamento que gerou o incidente.
