Um algoritmo de Q-learning para gerar chutes de robôs ambulantes em simulações de futebol

Crédito: C M, Unsplash

O RoboCup, originalmente chamada de J-League, é uma competição anual de robótica e inteligência artificial (IA) organizada pela International RoboCup Federation. Durante o RoboCup, os robôs competem com outros torneios de futebol de robôs.

A ideia da competição surgiu em 1992, quando o professor Alan Mackworth, da University of British Columbia, no Canadá, escreveu um artigo intitulado “On Seeing Robots”. Em 1993, uma equipe de pesquisa no Japão se inspirou neste artigo para organizar a primeira competição de futebol de robôs.

Embora o RoboCup possa ser muito divertido, seu principal objetivo é mostrar os avanços da robótica e da IA em um cenário do mundo real. Os sistemas robóticos que participam da competição são o resultado de intensos esforços de pesquisa de muitos pesquisadores em todo o mundo.

Além da competição do mundo real, cientistas da computação e roboticistas podem testar suas ferramentas computacionais para o futebol de robôs na liga de simulação de futebol 3D RoboCup. Esta é essencialmente uma plataforma que replica o ambiente RoboCup em simulação, servindo como uma “academia” virtual para técnicas de IA e sistemas robóticos projetados para jogar futebol.

Pesquisadores do Instituto de Tecnologia Yantai na China e da Universidade de Rahjuyan Danesh Borazjan no Irã desenvolveram recentemente uma nova técnica que pode aumentar a capacidade dos robôs participantes de jogos de futebol de chutar a bola enquanto caminham. Esta técnica, apresentada em um artigo publicado no Journal of Ambient Intelligence and Humanized Computing da Springer Link, é baseada em uma abordagem computacional conhecida como algoritmo Q-learning.

“Um dos objetivos mais importantes das equipes que participam da liga RoboCup3D é a capacidade de aumentar o número de chutes”, escreveram Yun Lin, Yibin Song e Amin Rezaeipanah, os três pesquisadores que desenvolveram a técnica. “O motivo desta importância é que a superioridade sobre o adversário exige um remate poderoso e preciso”.

A maioria das técnicas para gerar disparos em simulação é baseada em duas abordagens chamadas cinemática inversa (IK) e análise de ponto. Esses são métodos matemáticos que podem ser usados tanto para criar animações de computador quanto na robótica para prever os parâmetros de junta necessários para que um robô atinja uma determinada posição ou conclua uma ação.

“O pressuposto desses métodos é que as posições do robô e da bola são fixas”, explicaram os pesquisadores em seu artigo. “No entanto, nem sempre é o caso do tiro.”

Para superar as limitações dos métodos propostos anteriormente, Lin e seus colegas criaram uma nova estratégia de tiro com base em um algoritmo de Q-learning, que pode aumentar a capacidade dos robôs de atirar na bola enquanto caminham. Algoritmos de Q-learning são abordagens computacionais livres de modelos baseadas na aprendizagem por reforço. Esses algoritmos são particularmente úteis em casos em que os agentes estão tentando aprender como navegar de forma otimizada em seu ambiente ou executar ações complexas.

“Um caminho curvo é projetado para mover o robô em direção à bola, de modo que eventualmente tenha uma posição ideal para atirar”, escreveram os pesquisadores em seu artigo. “Em geral, o preceptor de visão no RoboCup3D tem ruído. Portanto, os parâmetros de movimento do robô, como velocidade e ângulo, são ajustados com mais precisão pelo algoritmo de aprendizagem Q. Finalmente, quando o robô está na posição ideal em relação à bola e ao gol , o módulo IK é aplicado à estratégia de tiro. ”

Lin, Song e Rezaeipanah avaliaram seu algoritmo de Q-learning em uma série de experimentos e simulações. Notavelmente, eles descobriram que isso permitia aos robôs chutarem a bola enquanto andavam muito melhor do que os robôs na maioria das equipes participantes da liga RoboCupSoccer e da liga RoboCup3D do Irã. Em última análise, isso poderia melhorar significativamente o desempenho dos robôs durante os jogos de futebol do RoboCup.


Publicado em 26/11/2021 15h12

Artigo original:

Estudo original: