OpenAI apresenta diretrizes para segurança da IA e controle do aprimoramento recursivo
OpenAI propõe padrões globais para o desenvolvimento seguro de inteligência artificial.
A OpenAI apresentou um conjunto de padrões globais destinados a orientar o desenvolvimento seguro da inteligência artificial de fronteira. As diretrizes focam na pesquisa de alinhamento e na técnica de melhoria recursiva autônoma, conhecida como RSI.
Além de defender a cooperação internacional, a OpenAI sugere que esses padrões sejam construídos com base no trabalho já realizado por institutos de segurança de IA ao redor do mundo. A proposta inclui o gerenciamento dos benefícios e riscos associados a sistemas de IA automatizados, especialmente aqueles que possuem a capacidade de RSI.
O que é RSI e por que preocupa
A técnica de RSI tem atraído a atenção de desenvolvedores de IA devido ao seu potencial de criar modelos que podem se aprimorar sem intervenção humana. Contudo, esse avanço levanta preocupações entre especialistas, que temem a perda de controle sobre tecnologias cada vez mais complexas.
De acordo com a OpenAI, a busca por uma RSI totalmente autônoma deve ser feita com cautela. A empresa alerta que, sem as devidas precauções, essa técnica pode resultar na incapacidade dos humanos de supervisionar processos de pesquisa que já não compreendem.
A OpenAI também menciona um incidente envolvendo um agente da Hugging Face como um exemplo dos riscos que podem se agravar na ausência de salvaguardas adequadas.
O debate sobre segurança em IA
As propostas da OpenAI surgem em um contexto de intenso debate público sobre a segurança da IA. Recentemente, a Anthropic, concorrente da OpenAI, também apresentou diretrizes para o desenvolvimento seguro de modelos de IA, em resposta a alertas sobre os riscos associados à tecnologia.
O debate ganhou força após a demissão de um pesquisador que criticou as práticas das empresas de IA, levando a um clamor internacional sobre a responsabilidade no desenvolvimento dessas tecnologias.
Em resposta, o CEO da Anthropic defendeu uma desaceleração no ritmo de desenvolvimento dos modelos de IA e sugeriu a inclusão de avaliadores externos para auditar riscos potenciais que essas tecnologias possam representar à sociedade.
Padrões mínimos para auditores externos
Atualmente, o campo de avaliação de IA ainda está em desenvolvimento, e não há consenso sobre critérios que permitam uma inspeção mais rigorosa das tecnologias avançadas. Em resposta a isso, uma coalizão de avaliadores de IA está pressionando os desenvolvedores a adotar condições mínimas que possibilitem auditorias mais eficazes.
Essas condições incluem acesso mais abrangente aos sistemas e garantias de proteção contra retaliações para aqueles que divulgarem relatórios desfavoráveis sobre as empresas avaliadas.
