ChatGPT implementa sistema para detectar extremismo e oferecer suporte a usuários

Nova ferramenta na Nova Zelândia visa apoiar usuários do ChatGPT com sinais de extremismo.

A Nova Zelândia está desenvolvendo uma ferramenta inovadora que visa oferecer apoio especializado a usuários do ChatGPT que apresentem sinais de extremismo violento. O projeto, que combina atendimento humano com chatbots, busca reduzir os riscos de violência e promover intervenções adequadas em situações críticas.

A startup ThroughLine, que já trabalhou com a OpenAI e outras grandes empresas de tecnologia, está à frente desse projeto. O objetivo é redirecionar usuários em risco para serviços de apoio, especialmente em casos de automutilação, violência doméstica e transtornos alimentares.

Essa iniciativa surge em um contexto de crescente preocupação com a segurança, especialmente após diversos processos judiciais que acusam plataformas de inteligência artificial de não prevenir, e até mesmo incentivar, atos de violência. Recentemente, a OpenAI enfrentou ameaças de intervenção do governo canadense após um incidente envolvendo um massacre em uma escola.

Serviço de prevenção

Segundo Elliot Taylor, fundador da ThroughLine, a empresa está explorando a ampliação do serviço para incluir a prevenção do extremismo violento. A ThroughLine está em conversações com o The Christchurch Call, uma iniciativa que busca combater o ódio online, especialmente após o ataque terrorista em Christchurch em 2019.

A startup, que opera a partir de uma área rural da Nova Zelândia, já se tornou referência no setor, oferecendo uma rede de apoio que abrange 1.600 linhas de ajuda em 180 países. Quando a inteligência artificial identifica sinais de crise, o usuário é direcionado à ThroughLine, que o conecta a serviços locais de apoio.

Atualmente, o serviço está focado em algumas categorias específicas, mas Taylor observa que os problemas relatados online têm aumentado com a popularidade dos chatbots, incluindo questões relacionadas ao extremismo.

Mais chatbots, mais problemas

A nova ferramenta funcionará em um modelo híbrido, combinando um chatbot treinado para identificar sinais de extremismo e encaminhamentos para serviços de saúde mental. Taylor destaca que não estão utilizando dados de treinamento comuns, mas sim colaborando com especialistas na área.

A tecnologia ainda está em fase de testes, sem uma data definida para lançamento. Consultores de contraterrorismo sugerem que a ferramenta poderá ser útil para moderadores de fóruns e para pais que desejam monitorar o extremismo online entre os jovens.

Pesquisadores ressaltam que o sucesso da iniciativa dependerá da qualidade dos serviços de acompanhamento e do suporte oferecido aos usuários. Taylor também menciona que as medidas de acompanhamento, incluindo alertas às autoridades em casos de risco, estão sendo discutidas para evitar a escalada de comportamentos agressivos.

Ele alerta que muitos usuários em sofrimento compartilham online questões que têm vergonha de discutir pessoalmente, e que uma abordagem excessivamente repressiva pode agravar a situação. Um estudo recente indicou que a moderação excessiva pode levar usuários a plataformas menos regulamentadas, onde o extremismo pode prosperar.

Taylor conclui que, se um usuário se abrir sobre sua crise para uma inteligência artificial e não receber apoio, ele poderá permanecer sem ajuda, o que representa um risco significativo. A busca por soluções equilibradas entre moderação e apoio é fundamental para enfrentar esse desafio crescente.