Uma técnica que permite aos robôs estimar a pose de objetos tocando-os

A abordagem dos pesquisadores ajuda os robôs a localizar objetos por meio de detecção tátil, sem a necessidade de contato prévio. (Linha inferior) Ao desenvolver um método para simular o contato como imagens de profundidade, podemos aprender a comparar um conjunto pré-calculado de contatos com uma observação tátil real (linha superior) para estimar a pose do objeto atual. Crédito: Bauza et al.

Os humanos são capazes de encontrar objetos em seus arredores e detectar algumas de suas propriedades simplesmente tocando-os. Embora essa habilidade seja particularmente valiosa para pessoas cegas, ela também pode ajudar pessoas sem deficiência visual a realizar tarefas simples, como localizar e agarrar um objeto dentro de uma bolsa ou bolso.

Pesquisadores do Massachusetts Institute of Technology (MIT) realizaram recentemente um estudo com o objetivo de replicar essa capacidade humana em robôs, permitindo que eles entendam onde os objetos estão localizados simplesmente tocando-os. O artigo, pré-publicado no arXiv, destaca as vantagens de desenvolver robôs que podem interagir com o ambiente circundante por meio do toque, em vez de apenas por meio de visão e processamento de áudio.

“O objetivo do nosso trabalho era demonstrar que com a detecção tátil de alta resolução é possível localizar objetos conhecidos com precisão desde o primeiro contato”, disse Maria Bauza, uma das pesquisadoras que realizaram o estudo, ao TechXplore. “Nossa abordagem dá um salto importante em relação aos trabalhos anteriores sobre localização tátil, já que não contamos com nenhuma outra modalidade de sensoriamento externo (como a visão) ou dados táteis previamente coletados relacionados aos objetos manipulados. Em vez disso, nossa técnica, que foi treinada diretamente na simulação, pode localizar objetos conhecidos desde o primeiro toque, o que é fundamental em aplicações reais de robótica, onde a coleta de dados reais é cara ou simplesmente inviável.”

Por ser treinada em simulações, a técnica idealizada por Bauza e colegas não exige extensa coleta de dados. Os pesquisadores desenvolveram inicialmente uma estrutura que simula contatos entre um determinado objeto e um sensor tátil, assumindo assim que um robô terá acesso aos dados sobre o objeto com o qual está interagindo (por exemplo, sua forma 3-D, propriedades, etc.). Esses contatos são representados como imagens de profundidade, que mostram a extensão da penetração de um objeto no sensor tátil.

Posteriormente, Bauza e seus colegas usaram técnicas de aprendizado de máquina de última geração para visão computacional e aprendizagem de representação para combinar observações táteis reais reunidas por um robô com o conjunto de contatos gerados na simulação. Cada contato no conjunto de dados de simulação é pesado dependendo da probabilidade de que corresponda ao contato real ou observado, o que, em última análise, permite que o framework alcance a distribuição de probabilidade sobre as possíveis poses do objeto.

O sensor tátil usado pelos pesquisadores. Crédito: Bauza et al.

“Nosso método codifica o contato, representado como imagens de profundidade, em um espaço embutido, o que simplifica muito o custo computacional, permitindo a execução em tempo real”, disse Bauza. “Como pode gerar distribuições de pose significativas, pode ser facilmente combinado com sistemas de percepção adicionais. Em nosso trabalho, exemplificamos isso em um cenário de multi-contato em que vários sensores táteis tocam simultaneamente um objeto, e devemos incorporar todas essas observações ao estimativa de pose do objeto. ”

Essencialmente, o método desenvolvido por esta equipe de pesquisadores pode simular informações de contato simplesmente com base na forma 3-D de um objeto. Como resultado, não requer nenhum dado tátil anterior coletado durante o exame cuidadoso do objeto. Isso permite que a técnica gere estimativas de pose para um objeto desde a primeira vez que ele é tocado pelos sensores táteis de um robô.

“Percebemos que o sensoriamento tátil pode ser extremamente discriminativo e produzir estimativas de pose altamente precisas”, disse Bauza. “Embora a visão às vezes sofra de oclusões, a detecção tátil não. Como resultado, se um robô contatar uma parte de um objeto que é muito único, ou seja, nenhum outro toque no objeto seria semelhante a ele, então nosso algoritmo pode identificar facilmente o contato e, portanto, a pose do objeto. ”

Como muitos objetos têm regiões não únicas (ou seja, a maneira como são posicionados pode resultar em contatos muito semelhantes), o método desenvolvido por Bauza e seus colegas prevê distribuições de pose, em vez de estimativas de pose única. Esta característica particular está em forte contraste com abordagens desenvolvidas anteriormente para estimativa de pose de objeto, que tendem a reunir apenas estimativas de pose única. Além disso, as distribuições previstas pela estrutura da equipe do MIT podem ser mescladas diretamente com informações externas para reduzir ainda mais a incerteza sobre a pose de um objeto.

“Notavelmente, também observamos que a combinação de vários contatos simultaneamente, como acontece ao usar vários dedos para contatar um objeto, diminui rapidamente qualquer incerteza na pose de um objeto”, disse Bauza. “Isso valida nossa intuição de que adicionar contatos em um objeto restringe sua pose e facilita a estimativa.”

GIF resumindo a abordagem. Contato -> observação tátil -> profundidade do tátil -> melhor correspondência usando o algoritmo dos pesquisadores -> pose resultante. Crédito: Bauza et al.

Para auxiliar os humanos em suas atividades diárias, os robôs devem ser capazes de realizar tarefas de manipulação com alta precisão, confiabilidade e exatidão. Como manipular objetos implica diretamente tocá-los, o desenvolvimento de técnicas eficazes para permitir a detecção tátil em robôs é de importância fundamental.

“A capacidade de sentir o toque recebeu recentemente grande interesse da indústria, e nosso trabalho consegue isso por meio de uma combinação de três fatores: (1) uma técnica de detecção de alta resolução, mas barata, baseada no uso de pequenas câmeras para capturar a deformação de uma superfície de toque (por exemplo, sensor GelSight); (2) integração compacta recente desta técnica de detecção em dedos de robô (por exemplo, dedos GelSlim); (3) e uma estrutura computacional baseada em aprendizagem profunda para processar efetivamente as imagens táteis de alta resolução para tátil localização de partes conhecidas (por exemplo, este trabalho) “, disse Alberto Rodriguez, outro pesquisador envolvido no estudo, ao TechXplore. “Este tipo de tecnologia está amadurecendo e a indústria está vendo o valor da automação de tarefas que requerem precisão, como na automação de montagem.”

A técnica idealizada por esta equipe de pesquisadores permite aos robôs estimar em tempo real a pose dos objetos que estão manipulando, com altos níveis de precisão. Isso dá ao robô a chance de fazer previsões mais precisas sobre os efeitos de seus movimentos ou ações, o que pode melhorar seu desempenho em tarefas de manipulação.

Para funcionar, o método criado por Bauza e seus colegas requer algumas informações sobre a forma do objeto que um robô está manipulando. Portanto, pode ser particularmente valioso para implementações em ambientes industriais, onde os fabricantes montam itens com base em um modelo claro de suas formas.

Em seu trabalho futuro, os pesquisadores planejam estender sua estrutura para que também incorpore informações visuais sobre objetos. Idealmente, eles gostariam de transformar sua técnica em um sistema de detecção visuo-tátil que pode estimar a pose de objetos com uma precisão ainda maior.

“Outro trabalho em andamento profundamente relacionado a essa abordagem visa explorar o uso da percepção tátil para tarefas de manipulação complexas”, disse Bauza. “Em particular, estamos aprendendo modelos que permitem que um robô execute operações precisas de escolher e posicionar. O objetivo é encontrar manipulações de objetos que não apenas visam agarramentos estáveis, mas também auxiliam na percepção. Usando nossa abordagem, também podemos direcionar agarres que resultam em contatos discriminativos que irão melhorar a localização tátil. “


Publicado em 19/01/2021 09h59

Artigo original:

Estudo original: