IA deve ser defensável desde a concepção, afirma David Cass, especialista em cibersegurança

Especialista alerta sobre a importância da documentação em sistemas de IA durante o Cyber Security Summit

No Cyber Security Summit, realizado em São Paulo, David Cass, especialista em segurança da informação, ressaltou a necessidade de as organizações documentarem seus sistemas de inteligência artificial desde a fase de desenvolvimento. Segundo ele, essa prática é crucial para a defesa legal, especialmente em casos judiciais.

Cass enfatizou que “a IA precisa ser defensável por design”, dirigindo sua mensagem a executivos e líderes de equipes de IA presentes na palestra sobre a interseção entre inteligência artificial e o sistema judicial.

Durante sua apresentação, o especialista destacou quatro dimensões que os tribunais consideram ao avaliar sistemas de IA como evidência. A primeira dimensão é a autenticação, que envolve a demonstração de que o modelo gera resultados confiáveis e precisos, além da verificação técnica convencional.

A segunda dimensão é a confiabilidade e admissibilidade, que nos Estados Unidos é analisada pelo estilo Daubert, que investiga se o modelo foi testado, revisado por pares e se há pesquisa publicada a seu respeito. A terceira dimensão, a explicabilidade, levanta a questão de quem na organização pode explicar aspectos técnicos complexos a um juiz e a um júri.

Cass observou que empresas grandes enfrentam desafios regulatórios quando apenas um número limitado de especialistas pode explicar o funcionamento de seus modelos. A quarta dimensão refere-se à cadeia de custódia do modelo, que inclui informações sobre a versão utilizada, o modelo de linguagem, a autorização para produção e os testes realizados antes da implementação.

Um dos pontos críticos abordados foi o “problema gêmeo”, onde conteúdos sintéticos gerados por IA podem ser apresentados como reais em processos judiciais, enquanto evidências genuínas podem ser contestadas. Cass destacou a necessidade de padrões técnicos de engenharia, como criptografia e registros certificados, para garantir a autenticidade das informações.

Mostrar o trabalho como padrão mínimo

O especialista também enfatizou que o padrão em tribunais é claro: as organizações devem demonstrar seu trabalho. O registro detalhado do desenvolvimento, testes e monitoramento do sistema é o que diferencia uma organização capaz de se defender de uma exposta a sanções.

Ele alertou que advogados já enfrentaram penalidades por apresentarem jurisprudência criada por sistemas de IA sem verificação. A responsabilidade pela veracidade das informações não pode ser transferida para a IA, e a supervisão humana é fundamental.

Além disso, Cass destacou o aumento de litígios de privacidade relacionados ao uso de informações pessoalmente identificáveis em modelos de IA, mencionando a Lei Geral de Proteção de Dados no Brasil como uma salvaguarda importante.

Arquitetura preparada para disputas

O especialista também discutiu a importância de uma arquitetura preparada para disputas, sugerindo que registros devem ser feitos como testemunhas, e não apenas para depuração. Ele recomendou que as organizações mantenham logs à prova de adulteração e realizem testes de reprodução.

Cass destacou que a consistência nas respostas de um modelo deve ser garantida, e que os pesos dos modelos, que influenciam a relevância dos dados durante o treinamento, devem ser cuidadosamente monitorados.

Durante a apresentação, ele também abordou a arbitragem como uma alternativa mais ágil ao sistema judicial tradicional, mencionando que frameworks de arbitragem para conflitos de IA são projetados para facilitar a resolução sem a necessidade de explicações complexas a juízes e júris leigos.

As categorias de disputa mais comuns incluem violações de propriedade intelectual, privacidade de dados, uso indevido de conteúdo sintético e segredos comerciais. Cass aconselhou que cláusulas de arbitragem sejam incluídas em contratos relacionados à IA.

Governança como vantagem competitiva

Ao final de sua palestra, Cass enfatizou que uma governança bem estruturada pode ser uma vantagem competitiva. Ele citou frameworks do NIST e da ISO como referências para organizações que buscam estruturar suas avaliações de risco em IA.

O especialista alertou para a crescente responsabilidade nos níveis executivos, onde diretores de segurança da informação enfrentam processos judiciais e conselhos de administração são cobrados por conhecimento dos riscos associados à inteligência artificial.

Cass propôs um roteiro de governança que começa com o inventário de ativos de IA e mapeamento de contratos, avança para a documentação completa de modelos específicos e culmina na institucionalização de processos em toda a organização. Ele concluiu afirm