Nova inteligência artificial converte imagens limitadas em mundos 3D interativos

Atlas: uma nova era na geração de ambientes virtuais e treinamento de robôs.

Recentemente, foi apresentado o Atlas, um modelo inovador que promete revolucionar a forma como interagimos com ambientes virtuais. Este modelo de IA generativa de vídeo busca não apenas criar cenas realistas, mas também reconstruir o mundo a partir de informações limitadas.

O Atlas é uma criação da renomada Fei-Fei Li, uma das figuras mais influentes no campo da inteligência artificial. A proposta é intrigante, pois combina diferentes tipos de entrada, como texto, imagens e mapas de profundidade, para gerar um contexto espacial que permite a criação de novas observações em um espaço 3D.

Classificado como um “multimodal autoregressive diffusion transformer”, o Atlas não se limita a prever palavras, mas sim a determinar o que deve ser visualizado a partir de uma posição específica no espaço. Essa abordagem abre um leque de possibilidades para a criação de perspectivas inéditas.

Ângulos inéditos sem precisar de câmeras

Durante as demonstrações do Atlas, foram exibidas cenas geradas a partir de gravações feitas com smartphones. O modelo é capaz de criar ângulos que não foram capturados, mantendo a coerência com as informações disponíveis. Essa capacidade de gerar novas perspectivas a partir de dados limitados é um dos destaques do projeto.

É possível, por exemplo, elaborar um prompt detalhado que descreva uma trajetória de câmera e solicitar ao modelo que produza uma visualização convincente, mesmo que essa posição nunca tenha sido registrada. Essa inovação permite que uma cena seja explorada a partir de locais que a câmera original nunca alcançou.

Entretanto, o Atlas tem suas limitações. Se fornecermos apenas algumas imagens de um ambiente, ele não poderá adivinhar o que está oculto em áreas não capturadas. Nesse caso, ele cria soluções plausíveis, inventando conteúdo coerente com as imagens fornecidas. A eficácia do modelo aumenta à medida que mais dados são disponibilizados.

Além do cinema

As aplicações do Atlas vão muito além da indústria cinematográfica. Um dos campos mais promissores é a robótica, onde a IA pode transformar imagens de um ambiente real em simulações que robôs virtuais podem explorar.

O modelo é capaz de gerar imagens e dados de profundidade que os sensores robóticos utilizariam em diferentes trajetórias, facilitando o treinamento e a avaliação de robôs antes de sua interação com o mundo físico. Essa abordagem, conhecida como real-to-sim, permite a criação de ambientes simulados a partir de espaços reais.

O treinamento de robôs apresenta desafios únicos, como variações de iluminação e movimentação de objetos. As simulações oferecidas pelo Atlas permitem a realização de testes sem os custos associados a falhas no mundo real, proporcionando um ambiente controlado para aprendizado.

Bem-vindos à “internet dos robôs”

A proposta do Atlas é criar uma “internet dos robôs”, onde em vez de páginas web, haveria vastos espaços tridimensionais para experimentação. Embora ainda em fase inicial e disponível apenas para parceiros selecionados, a visão da World Labs é desenvolver modelos que possam perceber, gerar e interagir com mundos virtuais e físicos.

Os videogames já avançaram significativamente nesse campo, possuindo dados que incluem a geometria dos mundos virtuais e suas interações. Com isso, surgem oportunidades para transformar esses ambientes em ferramentas de treinamento para modelos espaciais, aproveitando a riqueza de informações disponíveis nos mundos virtuais.

A World Labs defende que a inteligência espacial deve ir além da simples visualização; é crucial entender a relação entre objetos e as consequências de nossas ações sobre eles. O Atlas representa uma nova abordagem para a interação com ambientes, focando na percepção e na resposta ao movimento dentro desses espaços.

Embora o Atlas ainda esteja em desenvolvimento, sua proposta distinta em relação aos modelos de IA existentes promete abrir novas fronteiras na geração e interação com ambientes virtuais. A pergunta central que o Atlas busca responder é: ao mover-se por um espaço, o que deve ser visto?