Braço robótico funde dados de uma câmera e antena para localizar e recuperar itens

Pesquisadores do MIT desenvolveram um braço robótico totalmente integrado que funde dados visuais de uma câmera e informações de radiofrequência (RF) de uma antena para localizar e recuperar objetos, mesmo quando eles estão enterrados sob uma pilha e totalmente fora de vista. Crédito: Massachusetts Institute of Technology

Um viajante ocupado está pronto para sair pela porta, apenas para perceber que perdeu as chaves e deve procurar em pilhas de coisas para encontrá-las. Remexendo rapidamente na desordem, eles gostariam de descobrir qual pilha estava escondendo as chaves.

Pesquisadores do MIT criaram um sistema robótico que pode fazer exatamente isso. O sistema, RFusion, é um braço robótico com uma câmera e uma antena de radiofrequência (RF) presa à sua garra. Ele funde os sinais da antena com a entrada visual da câmera para localizar e recuperar um item, mesmo se o item estiver enterrado sob uma pilha e completamente fora de vista.

O protótipo de RFusion que os pesquisadores desenvolveram depende de etiquetas RFID, que são etiquetas baratas e sem bateria, que podem ser presas a um item e refletem os sinais enviados por uma antena. Como os sinais de RF podem viajar pela maioria das superfícies (como o monte de roupa suja que pode estar obscurecendo as chaves), o RFusion é capaz de localizar um item etiquetado dentro de uma pilha.

Usando o aprendizado de máquina, o braço robótico zera automaticamente na localização exata do objeto, move os itens em cima dele, agarra o objeto e verifica se ele pegou a coisa certa. A câmera, a antena, o braço robótico e a IA são totalmente integrados, de modo que o RFusion pode funcionar em qualquer ambiente sem a necessidade de uma configuração especial.

Embora encontrar chaves perdidas seja útil, o RFusion pode ter muitas aplicações mais amplas no futuro, como separar pilhas para atender pedidos em um depósito, identificar e instalar componentes em uma fábrica de automóveis ou ajudar um indivíduo idoso a realizar tarefas diárias em casa, embora o protótipo atual ainda não seja rápido o suficiente para esses usos.

Crédito: Massachusetts Institute of Technology

“Essa ideia de ser capaz de encontrar itens em um mundo caótico é um problema em aberto no qual estamos trabalhando há alguns anos. Ter robôs que são capazes de pesquisar coisas sob uma pilha é uma necessidade crescente na indústria hoje. agora, você pode pensar nisso como um Roomba com esteróides, mas no curto prazo, isso pode ter muitas aplicações em ambientes de manufatura e warehouse “, disse o autor sênior Fadel Adib, professor associado do Departamento de Engenharia Elétrica e Ciência da Computação e diretor do grupo Signal Kinetics no MIT Media Lab.

Os co-autores incluem o assistente de pesquisa Tara Boroushaki, o autor principal; o estudante de graduação em engenharia elétrica e ciência da computação Isaac Perper; pesquisador associado Mergen Nachin; e Alberto Rodriguez, Professor Associado da Classe de 1957 no Departamento de Engenharia Mecânica. A pesquisa será apresentada na Association for Computing Machinery Conference on Embedded Networked Senor Systems no próximo mês.

Nesta imagem, o braço robótico está procurando chaves escondidas embaixo dos itens. Crédito: Massachusetts Institute of Technology

Enviando sinais

O RFusion começa a procurar um objeto usando sua antena, que reflete os sinais da etiqueta RFID (como a luz do sol sendo refletida em um espelho) para identificar uma área esférica na qual a etiqueta está localizada. Ele combina essa esfera com a entrada da câmera, o que restringe a localização do objeto. Por exemplo, o item não pode estar localizado em uma área vazia de uma mesa.

Mas, uma vez que o robô tem uma ideia geral de onde o item está, ele precisa balançar seu braço amplamente ao redor da sala, tomando medidas adicionais para chegar à localização exata, que é lenta e ineficiente.

Os pesquisadores usaram o aprendizado por reforço para treinar uma rede neural que pode otimizar a trajetória do robô até o objeto. Na aprendizagem por reforço, o algoritmo é treinado por tentativa e erro com um sistema de recompensa.

“É assim também que nosso cérebro aprende. Somos recompensados de nossos professores, de nossos pais, de um jogo de computador, etc. A mesma coisa acontece na aprendizagem por reforço. Deixamos o agente cometer erros ou fazer algo certo e então punimos ou recompensar a rede. É assim que a rede aprende algo que é realmente difícil de modelar “, explica Boroushaki.

No caso do RFusion, o algoritmo de otimização foi recompensado quando limitou o número de movimentos que teve que fazer para localizar o item e a distância que teve que percorrer para pegá-lo.

Depois que o sistema identifica o ponto certo exato, a rede neural usa RF combinada e informações visuais para prever como o braço robótico deve agarrar o objeto, incluindo o ângulo da mão e a largura da garra, e se deve remover outros itens primeiro . Ele também verifica a etiqueta do item uma última vez para ter certeza de que pegou o objeto certo.

“Deixamos o agente cometer erros ou fazer algo certo e então punimos ou recompensamos a rede. É assim que a rede aprende algo que é realmente difícil de modelar”, explica a coautora Tara Boroushaki, na foto. Crédito: Massachusetts Institute of Technology

Cortando a desordem

Os pesquisadores testaram RFusion em vários ambientes diferentes. Eles enterraram um chaveiro em uma caixa cheia de bagunça e esconderam um controle remoto sob uma pilha de itens em um sofá.

Mas se eles alimentassem todos os dados da câmera e medições de RF para o algoritmo de aprendizado de reforço, isso teria sobrecarregado o sistema. Portanto, com base no método que um GPS usa para consolidar dados de satélites, eles resumiram as medições de RF e limitaram os dados visuais à área bem na frente do robô.

A abordagem funcionou bem – o RFusion teve uma taxa de sucesso de 96 por cento ao recuperar objetos que estavam totalmente escondidos sob uma pilha.

“Às vezes, se você confiar apenas nas medições de RF, haverá um outlier, e se você confiar apenas na visão, às vezes haverá um erro da câmera. Mas se você combiná-los, eles vão corrigir uns aos outros. Isso é o que tornou o sistema tão robusto “, diz Boroushaki.

No futuro, os pesquisadores esperam aumentar a velocidade do sistema para que ele possa se mover suavemente, em vez de parar periodicamente para fazer medições. Isso permitiria que o RFusion fosse implantado em um ambiente de manufatura ou depósito em ritmo acelerado.

Além de seus potenciais usos industriais, um sistema como este poderia até mesmo ser incorporado em futuras casas inteligentes para ajudar as pessoas em qualquer número de tarefas domésticas, diz Boroushaki.

“Todos os anos, bilhões de etiquetas RFID são usadas para identificar objetos nas complexas cadeias de abastecimento de hoje, incluindo roupas e muitos outros bens de consumo. A abordagem RFusion aponta o caminho para robôs autônomos que podem cavar em uma pilha de itens misturados e separá-los usando os dados armazenados nas etiquetas RFID, muito mais eficientemente do que ter que inspecionar cada item individualmente, especialmente quando os itens parecem semelhantes a um sistema de visão de computador “, diz Matthew S. Reynolds, CoMotion Presidential Innovation Fellow e professor associado de elétrica e informática engenheiro da Universidade de Washington, que não participou da pesquisa. “A abordagem RFusion é um grande passo à frente para a robótica operando em cadeias de suprimentos complexas onde identificar e ‘escolher’ o item certo com rapidez e precisão é a chave para obter pedidos atendidos no prazo e manter os clientes exigentes satisfeitos.”


Publicado em 08/10/2021 22h44

Artigo original:

Estudo original: