Nas últimas décadas, roboticistas e cientistas da computação desenvolveram robôs que podem agarrar e manipular vários objetos ao seu redor. A maioria desses robôs é treinada principalmente para agarrar objetos rígidos ou objetos com formas específicas.
A maioria dos objetos no mundo real, entretanto, incluindo roupas, garrafas plásticas ou itens alimentares, são deformáveis, o que essencialmente significa que eles podem facilmente mudar de forma enquanto alguém os manipula. Treinar robôs para agarrar objetos 3D rígidos e deformáveis é um passo crucial para o emprego de robôs em uma variedade de aplicações do mundo real, incluindo processamento de alimentos, cirurgia robótica ou assistência doméstica.
Embora as técnicas que permitem aos robôs agarrar objetos rígidos tenham se tornado cada vez mais avançadas nos últimos anos, as estratégias para agarrar esses objetos nem sempre se transferem bem para objetos deformáveis. Por exemplo, enquanto um brinquedo macio pode ser agarrado ao acaso, um objeto rígido que não se adapta à mão do usuário pode exigir um aperto mais estável e preciso. Da mesma forma, embora um recipiente rígido para comida pudesse ser agarrado com força e decisão, se fosse flexível, o robô precisaria ser mais cuidadoso para evitar esmagar tanto o recipiente quanto a comida dentro dele.
Pesquisadores da NVIDIA desenvolveram recentemente o DefGraspSim, uma plataforma que pode ser usada para avaliar estratégias para agarrar objetos deformáveis usando mãos robóticas ou manipuladores. Esta plataforma valiosa, apresentada em um artigo pré-publicado no arXiv, pode ajudar a melhorar o desempenho de robôs projetados para manipular objetos em configurações do mundo real.
“Criar estratégias de preensão para objetos deformáveis tem sido historicamente difícil devido às complexidades na modelagem de suas respostas físicas”, Isabella Huang, Yashraj Narang, Clemens Eppner, Balakumar Sundaralingam, Miles Macklin, Tucker Hermans e Dieter Fox, os pesquisadores que realizaram o estudo , disse ao TechXplore por e-mail. “Apenas nos últimos anos, simuladores robóticos rápidos e precisos foram desenvolvidos para resolver esse problema. Aproveitamos um desses simuladores, Isaac Gym, para criar DefGraspSim, um pipeline que permite aos pesquisadores avaliar automaticamente as pegadas de sua escolha em seus próprios objetos personalizados.”
A plataforma desenvolvida por Huang e seus colegas permite que os pesquisadores realizem experimentos de agarramento customizados avaliando o desempenho de robôs em tarefas de manipulação associadas a domínios específicos, como ambientes domésticos, de saúde ou agrícolas. DefGraspSim pode ser uma plataforma altamente valiosa para pesquisa de robótica, visto que muitas das tarefas que avalia os robôs seriam desafiadoras ou inseguras para um robô a ser testado no mundo real (por exemplo, aqueles associados a procedimentos cirúrgicos ou fabricação).
Além de usar a plataforma para avaliar estratégias de agarramento ou planejadores de agarramento, os pesquisadores podem usá-la para gerar conjuntos de dados contendo estratégias de agarramento. Esses conjuntos de dados podem então ser usados para treinar algoritmos de aprendizado profundo ou outros métodos computacionais para identificar estratégias eficazes de agarramento.
“Nosso trabalho foi motivado pelos inúmeros desafios emocionantes que vêm com a compreensão de como agarrar objetos deformáveis”, disse Huang e seus colegas. “Comparado ao domínio dos objetos rígidos, que recebeu mais de 30 anos de atenção no passado, o estudo de objetos deformáveis é muito pouco explorado.”
Em seu artigo, Huang e seus colegas se concentram em duas questões principais de pesquisa. Em primeiro lugar, os pesquisadores queriam determinar como os pesquisadores podem medir e avaliar o desempenho de preensão de objetos deformáveis. Em segundo lugar, eles queriam desenvolver uma ferramenta que permitisse aos roboticistas e cientistas da computação medir e analisar essas métricas de maneira confiável.
“Na literatura para agarrar objetos rígidos, o conjunto de métricas gerais de desempenho (ou seja, medidas que quantificam o quão boa é uma pegada), é principalmente unificado entre as obras”, explicaram os pesquisadores. “Sob uma certa compreensão, há duas métricas principais de preocupação: se um objeto pode ser pego (sucesso de agarrar) e se esse objeto pode resistir a perturbações depois (estabilidade de agarrar). Enquanto o sucesso de agarrar e estabilidade se aplicam a objetos deformáveis também , também propomos métricas adicionais que capturam exclusivamente as respostas de objetos deformáveis. ”
As métricas adicionais para capturar as respostas de objetos deformáveis propostas por Huang e seus colegas incluem deformação, tensão, energia de deformação e controlabilidade de deformação. A deformação essencialmente quantifica como a forma de um objeto muda quando ele é agarrado. Estresse é uma medida que resume as tensões aplicadas no corpo de um objeto pela garra robótica conforme ele o agarra, o que acaba induzindo a deformação. Notavelmente, uma medida de tensão que excede os limites de um material pode fazer com que o objeto seja deformado, danificado ou fraturado permanentemente.
A energia de deformação, por outro lado, é uma medida que resume a energia potencial elástica armazenada em um objeto quando ele é apreendido. Finalmente, controlabilidade de deformação se refere a quanta deformação adicional um objeto pode sofrer, com base na gravidade, após a pinça ser reorientada.
Curiosamente, as quatro métricas adicionais consideradas pelos pesquisadores podem competir entre si. Isso significa que, por exemplo, uma preensão com alta estabilidade pode levar a baixa deformação para um objeto e alta deformação para outro, dependendo da composição, forma e estrutura dos objetos.
“Essas métricas são abrangentes, de modo que os profissionais podem escolher avaliar o que é mais importante para eles”, disseram Huang e seus colegas. “Por exemplo, ao agarrar um bloco de tofu, pode-se querer selecionar uma pega de baixo estresse para garantir que não se quebre. No entanto, se quiser usar uma garrafa de ketchup, pode-se escolher uma pega de alta deformação para que o ketchup pode ser espremido mais rapidamente. Por outro lado, um aperto de baixa deformação pode ser melhor em uma caixa de biscoitos para que o conteúdo não seja esmagado. ”
Pouco depois de começarem a realizar suas pesquisas, Huang e seus colegas perceberam que diferentes pesquisadores e roboticistas podem priorizar métricas diferentes, dependendo do robô que estão testando ou das avaliações que planejam realizar. Assim, eles tentaram conceber uma plataforma que permitisse aos usuários analisar as métricas de acordo com seus domínios de interesse exclusivos.
Até agora, a maioria das métricas delineadas por esta equipe de pesquisadores tem sido extremamente difícil de acessar em configurações do mundo real, particularmente quantidades de campo, como tensão e deformação. A equipe, portanto, usou um simulador baseado no método de elementos finitos (FEM) (Isaac Gym) como o melhor proxy para a verdade fundamental, em casos em que se tem acesso total ao estado físico de um objeto e todas as métricas podem ser facilmente medidas.
“Ao contrário dos simuladores clássicos baseados em modelo de corpo rígido (por exemplo, GraspIt! E OpenGRASP), Isaac Gym modela explicitamente deformação e dinâmica de tensão e grandes perturbações cinemáticas e cinéticas”, disse Huang e seus colegas. “Para permitir que outros pesquisadores avaliem métricas de desempenho em seus próprios objetos, usamos Isaac Gym para construir DefGraspSim, a primeira ferramenta de agarramento deformável e banco de dados.”
DefGraspSim é um pipeline de avaliação de agarramento abrangente e automático que os pesquisadores podem usar para avaliar automaticamente qualquer uma das métricas de desempenho para agarramentos robóticos arbitrários, com foco em seus próprios objetos deformáveis personalizados. Huang e seus colegas esperam que sua plataforma se torne em breve o ambiente experimental preferido para o treinamento de modelos computacionais na apreensão e manipulação robótica de objetos deformáveis em simulações.
Os usuários simplesmente precisam inserir uma malha 3D (um tipo específico de modelo geométrico) de um objeto de sua escolha, junto com estratégias para agarrar esse objeto. Com base no que estão tentando alcançar, eles podem escolher entre quatro avaliações de compreensão diferentes, cada uma medindo um subconjunto das métricas de desempenho total. Além disso, os usuários podem escolher personalizar as métricas nas quais desejam focar sua avaliação ou projetar e medir quantidades adicionais de pré-coleta, que a equipe chama de ‘recursos de compreensão “.
“DefGraspSim é o primeiro canal lançado publicamente para agarrar objetos deformáveis”, disseram Huang e seus colegas. “Além de criar esta ferramenta, também publicamos um conjunto de dados ao vivo de avaliações métricas completas para agarres em 34 objetos, a maioria dos quais são modelados a partir de varreduras de objetos reais deformáveis. Também incluímos visualizações detalhadas de resultados de apreensão em vários objetos primitivos. que os leitores tenham uma ideia clara de quais quantidades podem ser extraídas do pipeline e possam construir uma intuição física sobre como os objetos deformáveis respondem ao agarramento. ”
Huang e seus colegas realizaram uma série de experimentos em cenários do mundo real com o objetivo de validar a precisão do Isaac Gym e do pipeline DefGraspSim. Suas descobertas foram altamente promissoras, pois sugerem que os resultados obtidos em sua plataforma de simulação são semelhantes aos obtidos na vida real.
O artigo dos pesquisadores ganhou o prêmio de melhor artigo no Workshop sobre simulação de objetos deformáveis em robótica na Robotics Science and Systems (RSS) 2021. Além disso, outros grupos de pesquisa já começaram a usar o pipeline DefGraspSim para avaliar suas técnicas de apreensão de objetos deformáveis.
“Acreditamos que o DefGraspSim é uma ferramenta muito prática e multifacetada que pode ser personalizada para coletar qualquer métrica ou dados adicionais que os pesquisadores queiram”, disse Huang e seus colegas. “Existem muitas maneiras impactantes pelas quais acreditamos que nosso pipeline fornecerá uma base sólida para trabalhos futuros.”
No futuro, o DefGraspSim pode permitir avaliações mais rigorosas e confiáveis de ferramentas para apreensão de objetos robóticos, bem como comparações entre seu desempenho em simulações e a realidade. A plataforma também pode ser estendida para incluir medições baseadas em visão, como aquelas presentes em imagens RGB-D, ou para construir planejadores de agarramento que podem gerar estratégias de agarramento ideais com base nas propriedades do objeto e métricas selecionadas.
“Atualmente, estamos aproveitando o DefGraspSim para gerar dados experimentais de grande escala para o treinamento de redes profundas”, escreveram os pesquisadores. “Estamos usando o DefGraspSim para medir e gerar recursos de alta dimensão que serão usados em uma estrutura de aprendizado profundo para previsão de métrica rápida em objetos invisíveis.”
Publicado em 04/09/2021 23h49
Artigo original:
Estudo original: