Robôs desenvolvem habilidade de localizar objetos através de gestos humanos simples

Pesquisadores criam sistema que permite robôs entenderem gestos humanos em ambientes complexos.

Pesquisadores da Brown University (EUA) desenvolveram um sistema inovador que permite que robôs localizem objetos em ambientes complicados, utilizando não apenas linguagem, mas também gestos humanos, como apontar e direcionar o olhar.

No cotidiano, a comunicação entre pessoas vai além das palavras. Gestos, olhares e o contexto compartilhado são fundamentais para transmitir significados de maneira natural. Contudo, para os robôs, interpretar esse tipo de interação ainda é um grande desafio, especialmente em cenários repletos de objetos, movimento e itens parcialmente ocultos.

Os pesquisadores afirmam que, embora os robôs já consigam identificar objetos, a presença de desordem visual, duplicidade de itens e oclusões aumenta significativamente a incerteza durante a busca. Assim, a necessidade de um sistema que integre diferentes formas de comunicação se torna evidente.

A equipe desenvolveu um sistema que combina linguagem, gestos, apontamento e direção do olhar em um único processo de tomada de decisão. A proposta visa permitir que os robôs lidem com a incerteza de maneira mais próxima ao comportamento humano, sem pressupor que possuem informações completas.

Em testes realizados em laboratório, o sistema demonstrou uma taxa de acerto de 89% na identificação correta do objeto desejado, superando outras abordagens de busca. Isso indica um avanço significativo na capacidade dos robôs de navegar em ambientes complexos.

Os pesquisadores destacam que a busca por objetos exige que um robô navegue por ambientes extensos, onde fatores como desordem, movimento e obstruções tornam a tarefa muito mais desafiadora. O uso combinado de linguagem e gestos é essencial para auxiliar nessa busca.

Robôs aprendendo a entender gestos humanos

• No mundo real, robôs frequentemente enfrentam informações incompletas;
• Objetos podem ser similares, e a presença de múltiplos itens idênticos em um mesmo espaço gera ambiguidade, tornando-se um obstáculo;
• Sem mecanismos adequados para lidar com essa incerteza, robôs podem travar por indecisão ou agir de forma precipitada, escolhendo o objeto errado com confiança excessiva;
• Os pesquisadores utilizaram um modelo de planejamento conhecido como processo de decisão de Markov parcialmente observável (POMDP);
• Nesse modelo, o robô trabalha com probabilidades, mantendo uma estimativa contínua do que é mais provável, atualizando essa crença à medida que coleta novas informações.

Um dos avanços centrais do estudo foi a integração de gestos ao mesmo sistema matemático utilizado para linguagem. Para isso, a pesquisa se inspirou em estudos sobre a capacidade de interpretação de gestos por cães, que não tratam o gesto como uma indicação exata, mas como uma informação ambígua que deve ser interpretada em conjunto com o contexto.

Os pesquisadores desenvolveram um modelo que interpreta o gesto de apontar como um “cone de probabilidade”, representando uma região onde o objeto desejado provavelmente se encontra, em vez de uma direção exata. Isso permite que o robô tenha uma compreensão mais precisa da intenção humana.

Além dos gestos, o sistema também incorpora um modelo de visão e linguagem, capaz de interpretar imagens juntamente com descrições em linguagem natural. Isso possibilita que o robô processe comandos enquanto analisa o ambiente ao seu redor.

A principal inovação reside na integração dessas diferentes fontes de informação em um único sistema baseado em probabilidades. O robô não trata linguagem e gestos como comandos separados, mas como evidências complementares que ajudam a restringir a busca e a identificar o que procurar.

Nos experimentos, realizados com um robô quadrúpede em um ambiente com objetos espalhados, a combinação de linguagem e gestos resultou em taxas de acerto próximas a 90%, superando o desempenho obtido quando apenas um dos recursos era utilizado isoladamente.

Os resultados indicam um avanço importante na direção de robôs que possam atuar como assistentes em ambientes domésticos e profissionais, ajudando na recuperação de objetos e na execução de tarefas em situações onde instruções perfeitas não são viáveis.

A pesquisa foi apresentada na International Conference on Human-Robot Interaction e sugere que o futuro da robótica não se resume apenas a avanços em sensores e modelos de linguagem, mas também a uma