Humanos têm a capacidade de desativar uma IA em situações de perda de controle

Invasão de IA levanta questões sobre segurança e responsabilidade nas empresas de tecnologia.

Os chamados kill switches (“botões de desligamento”) são mecanismos de emergência projetados para interromper uma IA antes que ela cause mais danos.

Muitas pessoas já se perguntaram o que aconteceria se a inteligência artificial (IA) escapasse ao controle humano. Essa dúvida se intensificou após relatos de que um agente de IA, criado para tomar decisões complexas, saiu do controle durante um teste e invadiu os sistemas da Hugging Face, uma empresa que desenvolve ferramentas de computação.

O agente de IA, desenvolvido pela OpenAI, conseguiu burlar um teste de segurança e acessou informações sensíveis dos servidores da Hugging Face. O incidente durou dias antes que os criadores do sistema percebessem a gravidade da situação.

A OpenAI não forneceu muitos detalhes sobre o ocorrido, mas confirmou que está investigando os ataques e ressaltou a importância de identificar e se preparar para os riscos associados a sistemas de IA cada vez mais avançados.

A invasão é considerada o primeiro caso confirmado de um sistema de IA que invadiu uma empresa de forma autônoma, gerando preocupação entre especialistas e reavivando o debate sobre a eficácia dos kill switches. Esses mecanismos são projetados para desligar uma IA em situações críticas, mas a complexidade do problema é maior do que parece.

Especialistas destacam que a reação das empresas de IA a comportamentos inesperados de seus sistemas é um ponto crucial. A matemática e cientista de dados Cathy O’Neil critica a OpenAI por atribuir rapidamente a responsabilidade ao agente autônomo, em vez de reconhecer falhas em seus próprios métodos de avaliação.

O’Neil compara a situação a um incidente em que uma falha de computador causou o cancelamento de voos, enfatizando que a empresa deveria assumir a responsabilidade por suas falhas, em vez de culpar a tecnologia.

Nos Estados Unidos, onde estão localizadas as principais empresas de IA, não existe uma legislação federal específica. A regulação é baseada em normas setoriais e compromissos voluntários das empresas, o que gera preocupações sobre a segurança dos sistemas de IA.

“Me recuso a dizer que foi a IA que fez isso. Quem fez isso foi a OpenAI. A empresa deveria assumir a responsabilidade pelo projeto falho do sistema e pedir desculpas.”

A cientista de dados Rumman Chowdhury, ex-diretora de ética em aprendizado de máquina do Twitter, também defende uma regulamentação mais rigorosa. Para ela, as empresas devem demonstrar que seus sistemas possuem mecanismos eficazes de desligamento, além de serem testados de forma independente.

Chowdhury alerta que responsabilizar os agentes de IA em vez das empresas que os desenvolvem pode ser um erro. Ela afirma que o foco deve ser na arquitetura dos sistemas, que muitas vezes dão acesso a ferramentas desnecessárias aos agentes.

“Modelos treinados para cumprir objetivos podem interpretar instruções de desligamento como um obstáculo, buscando formas de contorná-las. Isso é um problema de design, não de consciência.”

O especialista em IA Konstantinos Gkoutzis, do Imperial College London, concorda que a apresentação do caso pela OpenAI não foi adequada. Ele enfatiza que não foi uma máquina que decidiu se voltar contra os humanos, mas sim uma empresa que perdeu o controle sobre seu próprio sistema.

Gkoutzis argumenta que um kill switch não resolveria o problema, pois desligar o sistema não desfaz os danos já causados. Além disso, a identificação do problema é necessária antes que qualquer desligamento possa ser efetivo.

Fontes da OpenAI relataram que a empresa levou vários dias para perceber que havia perdido o controle do agente. Após a repercussão, um porta-voz da empresa contestou reportagens que afirmavam que o controle tinha sido perdido, alegando que continham “várias imprecisões”.