Um veículo autônomo é capaz de navegar pelas ruas da cidade e outros ambientes menos movimentados, reconhecendo pedestres, outros veículos e potenciais obstáculos por meio de inteligência artificial. Isso é conseguido com a ajuda de redes neurais artificiais, que são treinadas para “ver” os arredores do carro, imitando o sistema de percepção visual humano.
Mas, diferentemente dos humanos, os carros que usam redes neurais artificiais não têm memória do passado e estão em um estado constante de ver o mundo pela primeira vez – não importa quantas vezes eles tenham dirigido por uma estrada específica antes. Isso é particularmente problemático em condições climáticas adversas, quando o carro não pode confiar com segurança em seus sensores.
Pesquisadores da Cornell Ann S.Bowers College of Computing and Information Science e da College of Engineering produziram três trabalhos de pesquisa simultâneos com o objetivo de superar essa limitação, fornecendo ao carro a capacidade de criar “memórias” de experiências anteriores e usá-las na navegação futura.
O estudante de doutorado Yurong You é o principal autor de “HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception”, que você apresentou virtualmente em abril na ICLR 2022, a Conferência Internacional sobre Representações de Aprendizagem. “Representações de aprendizado” incluem aprendizado profundo, um tipo de aprendizado de máquina.
“A questão fundamental é: podemos aprender com passagens repetidas?” disse o autor sênior Kilian Weinberger, professor de ciência da computação em Cornell Bowers CIS. “Por exemplo, um carro pode confundir uma árvore de formato estranho com um pedestre na primeira vez que seu scanner a laser a perceber à distância, mas quando estiver perto o suficiente, a categoria do objeto ficará clara. mesma árvore, mesmo com neblina ou neve, você esperaria que o carro agora aprendesse a reconhecê-la corretamente.”
“Na realidade, você raramente dirige uma rota pela primeira vez”, disse a coautora Katie Luo, estudante de doutorado no grupo de pesquisa. “Ou você mesmo ou outra pessoa já dirigiu antes recentemente, então parece natural coletar essa experiência e utilizá-la.”
Liderado pelo estudante de doutorado Carlos Diaz-Ruiz, o grupo compilou um conjunto de dados dirigindo um carro equipado com sensores LiDAR (Light Detection and Ranging) repetidamente ao longo de um loop de 15 quilômetros dentro e ao redor de Ithaca, 40 vezes em um período de 18 meses. As travessias capturam ambientes variados (estrada, urbano, campus), condições climáticas (sol, chuva, neve) e horas do dia.
Esse conjunto de dados resultante – ao qual o grupo se refere como Ithaca365 e que é o assunto de um dos outros dois artigos – tem mais de 600.000 cenas.
“Expõe deliberadamente um dos principais desafios dos carros autônomos: condições climáticas ruins”, disse Diaz-Ruiz, coautor do artigo Ithaca365. “Se a rua estiver coberta de neve, os humanos podem confiar nas memórias, mas sem memórias uma rede neural fica em grande desvantagem”.
HIDSIGHT é uma abordagem que usa redes neurais para calcular descritores de objetos à medida que o carro passa por eles. Em seguida, ele compacta essas descrições, que o grupo apelidou de recursos SQuaSH (História Esparsa Quantificada Espacial) e as armazena em um mapa virtual, semelhante a uma “memória” armazenada em um cérebro humano.
Na próxima vez que o carro autônomo atravessar o mesmo local, ele poderá consultar o banco de dados SQuaSH local de cada ponto LiDAR ao longo da rota e “lembrar” o que aprendeu da última vez. A base de dados é continuamente atualizada e compartilhada entre os veículos, enriquecendo assim as informações disponíveis para realizar o reconhecimento.
“Esta informação pode ser adicionada como recursos a qualquer detector de objetos 3D baseado em LiDAR;” Você disse. “Tanto o detector quanto a representação SQuaSH podem ser treinados em conjunto sem qualquer supervisão adicional ou anotação humana, o que exige muito tempo e trabalho.”
Enquanto o HIDSIGHT ainda assume que a rede neural artificial já está treinada para detectar objetos e aumenta-a com a capacidade de criar memórias, MODEST (Mobile Object Detection with Ephemerality and Self-Training) – o assunto da terceira publicação – vai ainda mais longe.
Aqui, os autores deixaram o carro aprender todo o pipeline de percepção do zero. Inicialmente, a rede neural artificial no veículo nunca foi exposta a nenhum objeto ou rua. Através de várias travessias da mesma rota, ele pode aprender quais partes do ambiente estão estacionárias e quais são objetos em movimento. Lentamente, ele ensina a si mesmo o que constitui outros participantes do trânsito e o que é seguro ignorar.
O algoritmo pode detectar esses objetos de forma confiável, mesmo em estradas que não faziam parte das travessias repetidas iniciais.
Os pesquisadores esperam que ambas as abordagens possam reduzir drasticamente o custo de desenvolvimento de veículos autônomos (que atualmente ainda dependem muito de dados caros anotados por humanos) e tornar esses veículos mais eficientes aprendendo a navegar nos locais em que são mais usados.
Tanto o Ithaca365 quanto o MODEST serão apresentados no Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2022), a ser realizado de 19 a 24 de junho em Nova Orleans.
Outros colaboradores incluem Mark Campbell, o professor John A. Mellowes ’60 em Engenharia Mecânica na Escola Sibley de Engenharia Mecânica e Aeroespacial, professores assistentes Bharath Hariharan e Wen Sun, de ciência da computação na Bowers CIS; o ex-pesquisador de pós-doutorado Wei-Lun Chao, agora professor assistente de ciência da computação e engenharia na Ohio State; e doutorandos Cheng Perng Phoo, Xiangyu Chen e Junan Chen.
Publicado em 25/06/2022 14h00
Artigo original:
Estudo original: