Responsabilidade sobre decisões de agentes de IA nas empresas é tema de debate
Fabiana Falcone destaca a diferença entre tecnologia e inteligência artificial em palestra no IT Forum Upload CEO.
Dois dias antes do evento, Fabiana Falcone decidiu alterar o enfoque de sua apresentação após uma reflexão provocada pela filha. A jovem questionou se tecnologia e inteligência artificial (IA) eram a mesma coisa, levando Falcone a enfatizar que, embora interligadas, são distintas, especialmente em termos de governança.
Ela explica que os custos de uma empresa se dividem em três categorias: a tecnologia, que opera conforme a programação e é tratada como um ativo; os colaboradores, que têm custos relacionados a folha de pagamento e são avaliados por quatro pilares; e a IA, que interpreta e decide, cobrando por uso. Falcone afirma que, apesar de a IA se assemelhar ao comportamento humano em muitos aspectos, ela ainda é considerada apenas um software.
Falcone também ressalta que a IA apresenta um padrão diferente de erro. “A mesma entrada pode gerar saídas distintas”, observa, indicando que a confiança nas decisões da IA pode levar a falhas que não se repetem, complicando a correção.
Responsabilidade sobre os agentes de IA
A palestrante aplica os quatro pilares de governança aos agentes de IA. Na alçada, destaca que, enquanto contratações requerem aprovação, qualquer funcionário pode criar um agente rapidamente. Ela relata o caso de uma executiva que desenvolveu um agente para otimizar o sistema de gestão de relacionamento com clientes (CRM), gerando custos não alocados pela empresa.
No que diz respeito ao orçamento, os custos com tokens, a unidade de cobrança utilizada nos modelos de linguagem, são percebidos apenas após o uso. As empresas avaliam a eficiência da IA com base na economia de tokens, e a Synapser conseguiu reduzir seu consumo em 90% com uma nova arquitetura, levantando a questão sobre a manutenção do atendimento ao cliente. No desligamento, ainda não existem práticas consolidadas para determinar quando um agente deve ser substituído.
A responsabilidade, segundo Falcone, permanece nas mãos humanas. O agente atua em nome da empresa, e a responsabilidade recai sobre quem o programou e definiu seus limites. Isso elevou a discussão sobre IA da esfera do diretor de tecnologia da informação (CIO) para a mesa do presidente-executivo (CEO), dado seu impacto em custos, receitas e responsabilidades fiduciárias.
Fabiana apresenta dados que evidenciam a magnitude do desafio. De acordo com pesquisas, 68% dos CIOs consideram a adoção de IA como um dos principais desafios até 2026. Além disso, apenas 6% das empresas relatam que cerca de 5% de seus resultados provêm da IA, um índice estagnado nos últimos dois anos. Projeções indicam que, até 2028, os custos com tokens para programação poderão ultrapassar os salários médios dos desenvolvedores. Ela menciona que um grande banco já gasta mais com tokens do que com folha de pagamento, sem que as áreas de recursos humanos e tecnologia da informação tenham uma visão clara desse total.
Governança no desenvolvimento de código
Falcone argumenta que a geração de código não é mais o principal obstáculo; agora, a governança sobre o que é gerado é o foco. O usuário de negócios pode prototipar e testar soluções, apresentando-as à TI já prontas, o que aumenta a demanda e a pressão por resultados. Ela cita o exemplo de uma superintendente de crédito que resolveu um problema crítico utilizando programação por prompts, sendo considerada uma infratora pela TI por usar IA sem autorização.
O tema da segurança também é crucial. Falcone alerta que agentes que analisam e-mails podem ser induzidos a seguir instruções ocultas em mensagens de phishing, o que levanta preocupações sobre a alçada mínima que um agente deve ter após processar informações.
No mercado de trabalho, ela menciona um déficit de 797 mil profissionais de tecnologia, enquanto apenas 53 mil se formam anualmente. Falcone questiona como encontrar profissionais seniores se a base da pirâmide está diminuindo. Para ela, o futuro exige generalistas que tenham um conhecimento amplo, mesmo que superficial, em diversas áreas. A requalificação para funções de julgamento, como segurança e recuperação de desastres, é fundamental, pois “pessoas com medo não pensam, apenas executam”, o que demanda envolvimento no redesenho de processos.
Transformação de serviços em software
A pressão sobre as empresas vem de todos os lados. Startups de software como serviço
