Créditos: Foto: Mike Grimmett/MIT CSAIL
O “DribbleBot” pode manobrar uma bola de futebol em terrenos como areia, cascalho, lama e neve, usando o aprendizado por reforço para se adaptar à dinâmica variável da bola.
Se você já jogou futebol com um robô, é uma sensação familiar. O sol brilha em seu rosto enquanto o cheiro de grama permeia o ar. Você olha ao redor. Um robô de quatro patas está correndo em sua direção, driblando com determinação.
Embora o bot não exiba um nível de habilidade semelhante ao de Lionel Messi, é um impressionante sistema de drible selvagem. Pesquisadores do Laboratório de Inteligência Artificial Improvável do MIT, parte do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL), desenvolveram um sistema robótico com pernas que pode driblar uma bola de futebol nas mesmas condições que os humanos. O bot usou uma mistura de detecção e computação a bordo para atravessar diferentes terrenos naturais, como areia, cascalho, lama e neve, e se adaptar ao impacto variado no movimento da bola. Como todo atleta comprometido, “DribbleBot” conseguia se levantar e recuperar a bola após a queda.
A programação de robôs para jogar futebol tem sido uma área de pesquisa ativa há algum tempo. No entanto, a equipe queria aprender automaticamente como acionar as pernas durante o drible, para permitir a descoberta de habilidades difíceis de escrever para responder a diversos terrenos como neve, cascalho, areia, grama e calçada. Entre, simulação.
Um robô, uma bola e um terreno estão dentro da simulação – um gêmeo digital do mundo natural. Você pode carregar o bot e outros ativos e definir os parâmetros físicos e, em seguida, lidar com a simulação futura da dinâmica a partir daí. Quatro mil versões do robô são simuladas paralelamente em tempo real, permitindo a coleta de dados 4.000 vezes mais rápido do que usando apenas um robô. São muitos dados.
O robô começa sem saber driblar a bola – só recebe uma recompensa quando o faz, ou reforço negativo quando erra. Então, ele está essencialmente tentando descobrir qual sequência de forças deve aplicar com suas pernas. “Um aspecto dessa abordagem de aprendizado por reforço é que devemos projetar uma boa recompensa para facilitar o aprendizado do robô de um comportamento de drible bem-sucedido”, diz o estudante de doutorado do MIT Gabe Margolis, que co-liderou o trabalho junto com Yandong Ji, assistente de pesquisa no Improbable Laboratório de IA. “Depois de projetarmos essa recompensa, é hora de praticar para o robô: em tempo real, são alguns dias e, no simulador, centenas de dias. Com o tempo, ele aprende a manipular a bola de futebol cada vez melhor. para corresponder à velocidade desejada.”
O bot também pode navegar em terrenos desconhecidos e se recuperar de quedas devido a um controlador de recuperação que a equipe incorporou em seu sistema. Este controlador permite que o robô se levante após uma queda e volte para seu controlador de drible para continuar perseguindo a bola, ajudando-o a lidar com interrupções e terrenos fora de distribuição.
“Se você olhar ao redor hoje, a maioria dos robôs tem rodas. Mas imagine que há um cenário de desastre, inundação ou terremoto, e queremos robôs para ajudar os humanos no processo de busca e resgate. Precisamos das máquinas para percorrer terrenos que não são planos e robôs com rodas não podem atravessar essas paisagens”, diz Pulkit Agrawal, professor do MIT, investigador principal do CSAIL e diretor do Improbable AI Lab. dos atuais sistemas robóticos”, acrescenta. “Nosso objetivo no desenvolvimento de algoritmos para robôs com pernas é fornecer autonomia em terrenos desafiadores e complexos que atualmente estão fora do alcance dos sistemas robóticos”.
O fascínio pelos robôs quadrúpedes e pelo futebol é profundo – o professor canadense Alan Mackworth notou pela primeira vez a ideia em um artigo intitulado “On Seeing Robots”, apresentado na VI-92, 1992. Pesquisadores japoneses organizaram posteriormente um workshop sobre “Grandes Desafios em Inteligência Artificial, “, o que gerou discussões sobre o uso do futebol para promover ciência e tecnologia. O projeto foi lançado como Robot J-League um ano depois, e o fervor global rapidamente se instalou. Pouco depois, nasceu a “RoboCup”.
Comparado a andar sozinho, driblar uma bola de futebol impõe mais restrições ao movimento do DribbleBot e aos terrenos que ele pode atravessar. O robô deve adaptar sua locomoção para aplicar forças na bola para driblar. A interação entre a bola e a paisagem pode ser diferente da interação entre o robô e a paisagem, como grama espessa ou calçada. Por exemplo, uma bola de futebol experimentará uma força de arrasto na grama que não está presente no pavimento, e uma inclinação aplicará uma força de aceleração, alterando o caminho típico da bola. No entanto, a capacidade do bot de atravessar diferentes terrenos costuma ser menos afetada por essas diferenças na dinâmica – desde que não escorregue -, portanto, o teste de futebol pode ser sensível a variações no terreno que a locomoção sozinha não é.
“As abordagens anteriores simplificam o problema do drible, fazendo uma suposição de modelagem de terreno plano e duro. O movimento também é projetado para ser mais estático; o robô não está tentando correr e manipular a bola simultaneamente”, diz Ji. “É aí que dinâmicas mais difíceis entram no problema de controle. Nós abordamos isso estendendo avanços recentes que permitiram uma melhor locomoção ao ar livre nesta tarefa composta que combina aspectos de locomoção e manipulação hábil.”
Do lado do hardware, o robô possui um conjunto de sensores que lhe permitem perceber o ambiente, permitindo-lhe sentir onde está, “perceber” a sua posição e “ver” alguma da sua envolvente. Possui um conjunto de atuadores que lhe permite aplicar forças e movimentar-se a si próprio e a objetos. Entre os sensores e atuadores fica o computador, ou “cérebro”, encarregado de converter os dados do sensor em ações, que serão aplicadas por meio dos motores. Quando o robô está correndo na neve, ele não vê a neve, mas pode senti-la através dos sensores do motor. Mas o futebol é uma façanha mais complicada do que andar – então a equipe aproveitou as câmeras na cabeça e no corpo do robô para uma nova modalidade sensorial de visão, além da nova habilidade motora. E então – nós driblamos.
“Nosso robô pode ir à loucura porque carrega todos os seus sensores, câmeras e computação a bordo. Isso exigiu algumas inovações em termos de fazer com que todo o controlador se encaixasse nessa computação integrada”, diz Margolis. “Essa é uma área em que o aprendizado ajuda, porque podemos executar uma rede neural leve e treiná-la para processar dados de sensores ruidosos observados pelo robô em movimento. Isso contrasta fortemente com a maioria dos robôs de hoje: normalmente, um braço de robô é montado em uma base fixa e senta-se em uma bancada com um computador gigante conectado diretamente a ele. Nem o computador nem os sensores estão no braço robótico! Então, a coisa toda é pesada, difícil de mover.”
Ainda há um longo caminho a percorrer para tornar esses robôs tão ágeis quanto suas contrapartes na natureza, e alguns terrenos foram desafiadores para o DribbleBot. Atualmente, o controlador não é treinado em ambientes simulados que incluem declives ou escadas. O robô não está percebendo a geometria do terreno; está apenas estimando as propriedades de contato do material, como o atrito. Se houver um degrau, por exemplo, o robô ficará preso – não conseguirá levantar a bola sobre o degrau, área que a equipe quer explorar no futuro. Os pesquisadores também estão ansiosos para aplicar as lições aprendidas durante o desenvolvimento do DribbleBot em outras tarefas que envolvem locomoção combinada e manipulação de objetos, transportando rapidamente diversos objetos de um lugar para outro usando as pernas ou os braços.
“O DribbleBot é uma demonstração impressionante da viabilidade de tal sistema em um espaço de problema complexo que requer controle dinâmico de todo o corpo”, diz Vikash Kumar, cientista pesquisador do Facebook AI Research que não esteve envolvido no trabalho. “O que é impressionante no DribbleBot é que todas as habilidades sensório-motoras são sintetizadas em tempo real em um sistema de baixo custo usando recursos computacionais integrados. Embora exiba agilidade e coordenação notáveis, é apenas o ‘pontapé inicial’ para a próxima era. Game-On!
A pesquisa é apoiada pelo DARPA Machine Common Sense Program, pelo MIT-IBM Watson AI Lab, pelo National Science Foundation Institute of Artificial Intelligence and Fundamental Interactions, pelo U.S. Air Force Research Laboratory e pelo U.S. Air Force Artificial Intelligence Accelerator. Um artigo sobre o trabalho será apresentado na 2023 IEEE International Conference on Robotics and Automation (ICRA).
Publicado em 08/04/2023 13h08
Artigo original:
Estudo original: