Velocidade sem consciência: a IA pode falhar sem cometer erros

O verdadeiro risco da inteligência artificial no mercado financeiro vai além dos erros de diagnóstico.

O debate sobre os riscos da inteligência artificial (IA) tem se concentrado em preocupações sobre erros de diagnóstico e decisões imprecisas. No entanto, um aspecto mais sutil e perigoso é a velocidade com que a IA pode tomar decisões. Em sistemas complexos, como os do mercado financeiro, essa rapidez pode ser tão destrutiva quanto a imprecisão.

O setor bancário global está em um momento decisivo, com a IA Generativa prometendo gerar entre US$ 200 bilhões e US$ 340 bilhões em valor anual. Essa perspectiva atrai a atenção de executivos e acionistas, mas levanta uma questão crucial: até que ponto estamos dispostos a permitir que máquinas tomem decisões que impactam milhões de vidas, especialmente quando elas podem agir simultaneamente?

Um exemplo marcante ocorreu em 6 de maio de 2010, com o Flash Crash, quando cerca de US$ 1 trilhão em valor de mercado foi perdido em minutos. Esse evento não foi resultado de uma falha isolada, mas sim de uma combinação de automação e reações em cadeia entre algoritmos. A venda em massa desencadeada por esses modelos levou a uma rápida desvalorização, que só foi revertida com a intervenção humana. Isso levanta a questão: quantos processos críticos ainda têm supervisão humana capaz de interromper decisões automatizadas prejudiciais?

Esse fenômeno, conhecido como homogeneidade de modelos, ocorre quando organizações financeiras utilizam estruturas de IA semelhantes, o que pode levar a reações em massa em situações de mercado. Isso amplifica a volatilidade e pode drenar a liquidez rapidamente. Estudos indicam que sistemas de IA podem desenvolver comportamentos semelhantes à coordenação implícita de preços, levantando questões éticas e regulatórias significativas.

No Brasil, a adoção de IA no setor financeiro avança rapidamente, especialmente em áreas como concessão de crédito e detecção de fraudes. No entanto, essa velocidade muitas vezes ultrapassa a maturidade dos processos de governança necessários. Pesquisas destacam a crescente dependência da tecnologia como uma oportunidade, mas também um risco que exige supervisão aprimorada. Atualmente, 55% dos casos de uso de IA já envolvem decisões autônomas, embora apenas 2% sejam totalmente autônomas. O que acontecerá nos próximos anos, à medida que o setor continua a avançar?

O risco da IA não é uma questão simples de erro; é uma questão estrutural e temporal. Erros de IA podem ser difíceis de detectar, e há uma tendência crescente de confiança excessiva nas ferramentas. Quando um gerente humano comete um erro, o impacto é local e mais fácil de corrigir. No entanto, se um sistema de IA toma uma decisão errada para milhares de clientes ao mesmo tempo, o erro pode se tornar sistêmico antes que alguém perceba. Apenas 18% das organizações têm um conselho com autoridade para decisões de governança de IA, e muitos não exigem controles adequados para mitigar riscos.

A solução não é restringir a IA, mas repensar a supervisão humana. O conceito de “deliberação assimétrica” sugere que quanto mais rápida e autônoma for a decisão da IA, mais robusto deve ser o ciclo de revisão humana que a precede. A supervisão eficaz requer que os tomadores de decisão humanos possam interpretar e avaliar os resultados da IA, garantindo que a responsabilidade final permaneça com os operadores humanos. Esse princípio é o que diferencia as instituições que utilizam a IA de forma inteligente das que apenas a utilizam rapidamente.

É fundamental que o setor financeiro tenha uma discussão sobre os critérios de decisão da IA e suas consequências. Essa conversa deve ocorrer agora, enquanto os modelos ainda podem ser moldados por decisões humanas conscientes. Quando esses sistemas amadurecerem, as escolhas não feitas a tempo poderão ter consequências inesperadas.