Lenovo defende que infraestrutura própria pode reduzir custo da IA generativa em até 18 vezes
Investir em infraestrutura própria para IA generativa pode ser mais econômico que a nuvem.
Utilizar infraestrutura própria para executar cargas de inteligência artificial generativa se mostra uma alternativa vantajosa em comparação à dependência exclusiva da nuvem. O investimento inicial pode se recuperar em menos de quatro meses, e, em situações de uso contínuo e em grande escala, as empresas podem economizar até 18 vezes nos custos operacionais.
Um estudo recente analisa os custos envolvidos na operação de aplicações de IA generativa, comparando nuvem e infraestrutura própria. O levantamento considera o custo total de propriedade (TCO) ao longo de cinco anos, englobando despesas com hardware, energia, operação e manutenção.
Os resultados indicam que o custo para gerar 1 milhão de tokens na nuvem é de aproximadamente US$ 2,00, enquanto na infraestrutura própria esse valor cai para US$ 0,11. Em um cenário específico, rodar um modelo de grande porte em servidores próprios pode custar cerca de US$ 4,74 por milhão de tokens, em contraste com os US$ 29,09 na nuvem, resultando em uma economia de cerca de 84%.
A popularização da IA generativa levou muitas empresas a iniciar projetos na nuvem devido à facilidade de implementação. No entanto, o estudo revela que, ao operar essas aplicações de forma contínua e em grande escala, a estrutura de custos se altera consideravelmente.
A diferença de custos é atribuída ao funcionamento contínuo das aplicações de IA generativa, que geram respostas e processam solicitações ao longo do dia. Além disso, o avanço nas gerações de GPUs e servidores otimizados para IA tem melhorado o desempenho e a eficiência energética, permitindo que as empresas executem modelos mais complexos a um custo mais acessível.
