O fim do NAS: a ascensão dos data centers domésticos para suportar a inteligência artificial

Apple revoluciona com novos Macs, mas preços elevados limitam acesso.

Para os entusiastas da inteligência artificial (IA), o recente lançamento da Apple trouxe uma mistura de entusiasmo e desânimo. As novas máquinas apresentadas se destacam como o hardware mais avançado para executar modelos de IA localmente, mas seu alto custo torna o acesso inviável para muitos.

A mensagem por trás desse lançamento é clara: os Macs agora vão além de serem apenas ferramentas para profissionais de fotografia e edição de vídeo. Eles se transformaram em máquinas poderosas, capazes de proporcionar uma experiência de IA privada, eficiente e silenciosa.

Embora a Apple não tenha, por enquanto, o modelo de IA mais avançado do mercado, ela se destaca com a melhor infraestrutura para executar modelos de IA localmente. Essa mudança é significativa, especialmente considerando a introdução dos chips Apple M1 em 2020, que foram elogiados por sua eficiência e desempenho, embora a arquitetura de memória unificada tenha recebido menos atenção na época.

Naquele período, a quantidade de memória de vídeo não era uma preocupação para a maioria dos usuários. A RTX 3090, com seus 24 GB de memória GDDR6X, era considerada um colosso, enquanto muitos se contentavam com os 8 GB da RTX 3070. Modelos como a RTX 3080, com 10 GB, pareciam mais que suficientes.

A situação mudou drasticamente com o lançamento do ChatGPT em novembro de 2022, que impulsionou não apenas a popularidade de modelos de IA baseados na nuvem, mas também a necessidade de modelos que pudessem ser executados localmente. A Meta surpreendeu ao lançar o modelo Llama, destacando a importância da memória de vídeo para a execução local de IA.

Dois fatores cruciais relacionados à memória de vídeo se tornaram evidentes: quanto maior a capacidade, melhor para executar modelos mais potentes; e quanto maior a largura de banda, melhor para a velocidade de processamento durante a inferência. A RTX 5090, com 32 GB de GDDR7, apresenta excelente largura de banda, mas sua capacidade de memória pode ser insuficiente para modelos de IA extensos.

Em contraste, a Apple começou a se destacar com os modelos de Mac Studio equipados com o chip M3 Ultra, que oferecem até 512 GB de memória unificada e uma largura de banda de 819 GB/s. Embora isso seja menos da metade da largura de banda da RTX 5090, ainda proporciona uma capacidade significativa para acomodar modelos de IA de grandes dimensões.

Os novos modelos de Mac Studio com chips Apple M5 Ultra elevam a barra ainda mais, oferecendo até 512 GB de memória unificada e largura de banda de 1,2 TB/s, um aumento de 50% em relação ao M3 Ultra. Essa melhoria é notável e coloca a Apple em uma posição competitiva, apesar de seus concorrentes ainda superarem em largura de banda.

A questão da largura de banda também se aplica a outras máquinas no mercado, como o DGX Spark, que possui 128 GB de memória unificada, mas com largura de banda inferior ao M3 Ultra e M5 Ultra. Essa limitação se estende a outras variantes de máquinas, que apresentam largura de banda apenas adequada para o desempenho de IA.

O software completa a equação

A Nvidia tem se destacado no campo da IA, não apenas por seus chips, mas também pelo seu software, que permite que desenvolvedores aproveitem ao máximo as capacidades de suas placas. A Apple, por sua vez, lançou o MLX, um framework de código aberto que facilita a execução de modelos de IA em seus chips, criando um ecossistema que otimiza o desempenho.

Agora, a Apple também oferece a capacidade de conectar vários Macs para formar clusters, aumentando a capacidade de processamento e a memória disponível para executar modelos de IA. Essa funcionalidade foi desenvolvida em colaboração com a Exo Labs, permitindo que os usuários criem suas próprias soluções de IA em casa.

Embora esses novos Macs possam não ter a capacidade bruta dos modelos de IA de empresas como OpenAI ou Anthropic, a diferença está diminuindo. Modelos de código aberto já demonstram desempenho próximo ao de sistemas avançados, embora ainda sejam grandes demais para rodar localmente. No entanto, versões menores estão se tornando viáveis para execução em máquinas com memória adequada.

Os usuários que optam por placas como a RTX 5090 podem alcançar velocidades superiores a 100 tokens/s, mas enfrentam desafios em termos de consumo de energia e geração de calor. Nesse contexto,