O dispositivo pode ajudar os trabalhadores a localizar objetos para atender pedidos de comércio eletrônico ou identificar peças para montar produtos.
Pesquisadores do MIT construíram um fone de ouvido de realidade aumentada que dá ao usuário visão de raio-X.
O fone de ouvido combina visão computacional e percepção sem fio para localizar automaticamente um item específico que está oculto, talvez dentro de uma caixa ou debaixo de uma pilha, e então orientar o usuário a recuperá-lo.
O sistema utiliza sinais de radiofrequência (RF), que podem passar por materiais comuns como caixas de papelão, recipientes de plástico ou divisórias de madeira, para encontrar itens ocultos que foram rotulados com etiquetas RFID, que refletem os sinais enviados por uma antena de RF.
O fone de ouvido direciona o usuário enquanto ele caminha por uma sala em direção ao local do item, que aparece como uma esfera transparente na interface de realidade aumentada (AR). Uma vez que o item está na mão do usuário, o fone de ouvido, chamado X-AR, verifica se ele pegou o objeto correto.
Quando os pesquisadores testaram o X-AR em um ambiente semelhante a um depósito, o fone de ouvido conseguiu localizar itens ocultos com uma precisão de 9,8 centímetros, em média. E verificou que os usuários pegaram o item correto com 96% de precisão.
O X-AR pode ajudar os funcionários do armazém de comércio eletrônico a encontrar rapidamente itens em prateleiras desordenadas ou enterrados em caixas, ou identificando o item exato para um pedido quando muitos objetos semelhantes estão na mesma caixa. Também pode ser usado em uma instalação de fabricação para ajudar os técnicos a localizar as peças corretas para montar um produto.
“Todo o nosso objetivo com este projeto era construir um sistema de realidade aumentada que permitisse ver coisas que são invisíveis – coisas que estão em caixas ou cantos – e, ao fazer isso, pode guiá-lo em direção a elas e realmente permitir que você veja. o mundo físico de maneiras que não eram possíveis antes”, diz Fadel Adib, professor associado do Departamento de Engenharia Elétrica e Ciência da Computação, diretor do grupo Signal Kinetics no Media Lab e autor sênior de um artigo em X-AR.
Os coautores de Adib são os assistentes de pesquisa Tara Boroushaki, que é o principal autor do artigo; Maisy Lam; Laura Dodds; e a ex-pós-doutora Aline Eid, que agora é professora assistente na Universidade de Michigan. A pesquisa será apresentada no Simpósio USENIX sobre Projeto e Implementação de Sistemas em Rede.
Aumentando um fone de ouvido AR
Para criar um fone de ouvido de realidade aumentada com visão de raio-X, os pesquisadores primeiro tiveram que equipar um fone de ouvido existente com uma antena que pudesse se comunicar com itens marcados com RFID. A maioria dos sistemas de localização RFID usa várias antenas localizadas a metros de distância, mas os pesquisadores precisavam de uma antena leve que pudesse alcançar largura de banda alta o suficiente para se comunicar com as tags.
“Um grande desafio foi projetar uma antena que se encaixasse no fone de ouvido sem cobrir nenhuma das câmeras ou atrapalhar seu funcionamento. Isso importa muito, pois precisamos usar todas as especificações do visor”, diz Eid.
A equipe pegou uma antena de loop simples e leve e experimentou afunilar a antena (alterando gradualmente sua largura) e adicionar lacunas, ambas as técnicas que aumentam a largura de banda. Como as antenas normalmente operam ao ar livre, os pesquisadores as otimizaram para enviar e receber sinais quando conectadas ao visor do fone de ouvido.
Depois que a equipe construiu uma antena eficaz, eles se concentraram em usá-la para localizar itens marcados com RFID.
Eles aproveitaram uma técnica conhecida como radar de abertura sintética (SAR), que é semelhante à forma como os aviões visualizam objetos no solo. O X-AR faz medições com sua antena de diferentes pontos de vista à medida que o usuário se move pela sala e, em seguida, combina essas medições. Dessa forma, ele age como um arranjo de antenas onde as medições de várias antenas são combinadas para localizar um dispositivo.
O X-AR utiliza dados visuais da capacidade de rastreamento automático do fone de ouvido para construir um mapa do ambiente e determinar sua localização dentro desse ambiente. À medida que o usuário caminha, ele calcula a probabilidade da etiqueta RFID em cada local. A probabilidade será maior no local exato da tag, então ela usa essa informação para zerar o objeto oculto.
“Embora tenha apresentado um desafio quando estávamos projetando o sistema, descobrimos em nossos experimentos que ele realmente funciona bem com o movimento humano natural. Como os humanos se movem muito, isso nos permite fazer medições de vários locais diferentes e localizar um item com precisão”, diz Dodds.
Depois que o X-AR localiza o item e o usuário o pega, o fone de ouvido precisa verificar se o usuário pegou o objeto certo. Mas agora o usuário está parado e a antena do fone de ouvido não está se movendo, então não pode usar o SAR para localizar a etiqueta.
No entanto, à medida que o usuário pega o item, a etiqueta RFID se move junto com ele. O X-AR pode medir o movimento da etiqueta RFID e aproveitar a capacidade de rastreamento manual do fone de ouvido para localizar o item na mão do usuário. Em seguida, ele verifica se a tag está enviando os sinais de RF corretos para verificar se é o objeto correto.
Os pesquisadores utilizaram os recursos de visualização holográfica do fone de ouvido para exibir essas informações para o usuário de maneira simples. Depois que o usuário coloca o fone de ouvido, ele usa menus para selecionar um objeto de um banco de dados de itens marcados. Depois que o objeto é localizado, ele é circundado por uma esfera transparente para que o usuário possa ver onde ele está na sala. Em seguida, o dispositivo projeta a trajetória para aquele item na forma de passos no chão, que podem ser atualizados dinamicamente à medida que o usuário caminha.
“Nós abstraímos todos os aspectos técnicos para que possamos fornecer uma experiência clara e perfeita para o usuário, o que seria especialmente importante se alguém o colocasse em um ambiente de armazém ou em uma casa inteligente”, diz Lam.
Testando o fone de ouvido
Para testar o X-AR, os pesquisadores criaram um depósito simulado enchendo as prateleiras com caixas de papelão e latas de plástico e colocando itens com etiquetas RFID dentro.
Eles descobriram que o X-AR pode guiar o usuário em direção a um item de destino com menos de 10 centímetros de erro – o que significa que, em média, o item foi localizado a menos de 10 centímetros de onde o X-AR direcionou o usuário. Os métodos de linha de base que os pesquisadores testaram tiveram um erro médio de 25 a 35 centímetros.
Eles também descobriram que ele verificou corretamente se o usuário pegou o item certo em 98,9% das vezes. Isso significa que o X-AR é capaz de reduzir os erros de coleta em 98,9%. A precisão foi de 91,9% quando o item ainda estava dentro de uma caixa.
“O sistema não precisa ver o item visualmente para verificar se você pegou o item certo. Se você tiver 10 telefones diferentes em embalagens semelhantes, talvez não consiga distinguir entre eles, mas pode orientá-lo a escolher o certo”, diz Boroushaki.
Agora que demonstraram o sucesso do X-AR, os pesquisadores planejam explorar como diferentes modalidades de detecção, como WiFi, tecnologia mmWave ou ondas terahertz, podem ser usadas para aprimorar suas capacidades de visualização e interação. Eles também podem aprimorar a antena para que seu alcance ultrapasse os 3 metros e estender o sistema para uso por vários fones de ouvido coordenados.
“Como não existe nada assim hoje, tivemos que descobrir como construir um tipo de sistema completamente novo do começo ao fim”, diz Adib. “Na realidade, o que criamos é uma estrutura. Existem muitas contribuições técnicas, mas também é um modelo de como você projetaria um headset AR com visão de raio-X no futuro.”
“Este documento dá um passo significativo no futuro dos sistemas AR, fazendo-os funcionar em cenários fora da linha de visão”, diz Ranveer Chandra, diretor administrativo de pesquisa da indústria da Microsoft, que não esteve envolvido neste trabalho. “Ele usa uma técnica muito inteligente de alavancar a detecção de RF para aumentar os recursos de visão computacional dos sistemas AR existentes. Isso pode direcionar os aplicativos dos sistemas AR para cenários que não existiam antes, como varejo, manufatura ou novos aplicativos de qualificação”.
Referência: “Augmenting Augmented Reality with Non-Line-of-Sight Perception” por Tara Boroushaki, Maisy Lam, Laura Dodds, Aline Eid e Fadel Adib.
Publicado em 07/03/2023 08h17
Artigo original: