MERLIN: Uma estratégia autossupervisionada para treinar deep despeckling networks

Um modelo estatístico de manchas na imagem SAR: a imagem de intensidade à direita é uma versão corrompida da imagem de refletividade mostrada à esquerda. A imagem complexa de olhar único contém componentes pontilhados espacialmente correlacionados que são independentes nas partes reais e imaginárias. A função de transferência SAR mostrada aqui corresponde ao modo stripmap do Sentinel-1. Para fins de visualização, uma tabela de consulta não linear é usada para exibir imagens de intensidade. Crédito: Dalsasso, Denis & Tupin. Crédito: Dalsasso, Denis & Tupin.

Quando um feixe de luz altamente coerente, como o emitido por radares, é refletido difusamente em uma superfície com uma estrutura rugosa (por exemplo, um pedaço de papel, tinta branca ou uma superfície metálica), ele produz um efeito granular aleatório conhecido como ‘ padrão speckle ‘. Esse efeito resulta em fortes flutuações que podem reduzir a qualidade e a interpretabilidade das imagens coletadas por técnicas de radar de abertura sintética (SAR).

Quando um feixe de luz altamente coerente, como o emitido por radares, é refletido difusamente em uma superfície com uma estrutura rugosa (por exemplo, um pedaço de papel, tinta branca ou uma superfície metálica), ele produz um efeito granular aleatório conhecido como ‘ padrão speckle ‘. Esse efeito resulta em fortes flutuações que podem reduzir a qualidade e a interpretabilidade das imagens coletadas por técnicas de radar de abertura sintética (SAR).

SAR é um método de imagem que pode produzir imagens 2D ou 3D de resolução fina usando um sistema de radar de resolução limitada. É frequentemente empregado para coletar imagens de paisagens ou reconstruções de objetos, que podem ser usados para criar modelos em escala de milímetro a centímetro da superfície da Terra ou de outros planetas.

Para melhorar a qualidade e a confiabilidade dos dados SAR, pesquisadores em todo o mundo vêm tentando desenvolver técnicas baseadas em deep neural networks que possam reduzir o efeito speckle. Embora algumas dessas técnicas tenham alcançado resultados promissores, seu desempenho ainda não é o ideal.

Uma razão para isso é que a maioria dos modelos existentes aprende a remover manchas de imagens por meio de um processo de aprendizado supervisionado, o que significa que eles também exigem imagens sem manchas durante o treinamento. Isso pode tornar seu treinamento muito desafiador, já que imagens SAR sem manchas geralmente não estão disponíveis e, portanto, precisam ser fabricadas ou substituídas por outras imagens.

Uma equipe de pesquisadores do Instituto Politécnico de Paris e da Universidade de Lyon introduziu recentemente uma nova estratégia de aprendizagem auto-supervisionada para treinar deep neural networks para reduzir os efeitos do speckle em dados SAR. Este método foi apresentado em um artigo pré-publicado no arXiv e definido para aparecer no IEEE Transactions on Geoscience and Remote Sensing.

“Até agora, a maioria das abordagens considerou uma estratégia de treinamento supervisionado, onde as redes são treinadas para produzir resultados o mais próximo possível de imagens de referência livres de manchas”, Emanuele Dalsasso, Loic Denis e Florence Tupin, as pesquisadoras que realizaram o estudo, disse TechXplore. “Imagens livres de manchas geralmente não estão disponíveis, o que requer o recurso a imagens naturais ou óticas ou a seleção de áreas estáveis em longas séries de tempo para contornar a falta de verdade do terreno. A autossupervisão, por outro lado, evita o uso de manchas – imagens gratuitas. ”

A nova estratégia para treinar modelos baseados em deep neural networks, introduzida por esta equipe de pesquisadores, foi denominada MERLIN (coMplex Self-SupeRvised despeckLINg). MERLIN funciona separando partes reais e “imaginárias” de imagens SAR complexas.

Notavelmente, a estratégia pode ser usada para treinar todos os tipos de arquiteturas de deep neural network. Ao contrário das abordagens propostas anteriormente, é totalmente não supervisionado e permite aos pesquisadores treinar modelos de despeckling usando imagens single-look complex (SLC). As imagens SLC são imagens geradas a partir de dados SAR brutos em que os pixels de imagem individuais contêm informações relacionadas à amplitude e fase.

“Em contraste com outros trabalhos existentes, MERLIN não requer hipóteses adicionais como a ausência de correlações espaciais do speckle, ou estabilidade temporal ao longo de uma série de tempo”, escreveram os pesquisadores em seu artigo.

Dalsasso, Denis e Tupin avaliaram sua estratégia de treinamento em uma série de testes e descobriram que ela poderia ser usada com eficácia para treinar todos os tipos de redes de remoção de manchas profundas (deep despeckling networks). Além disso, os modelos treinados com MELIN alcançaram resultados altamente promissores, mesmo que não tenham sido treinados em imagens livres de manchas.

“Redes treinadas com MERLIN levam em consideração as correlações espaciais devido à função de transferência SAR específica para um determinado sensor e modo de imagem”, escreveram os pesquisadores em seu artigo. “Exigindo apenas uma única imagem e possivelmente explorando grandes arquivos, o MERLIN abre a porta para o treinamento em larga escala e sem complicações de redes de eliminação.”

No futuro, esta estratégia de aprendizagem auto-supervisionada pode ser de grande valor para a pesquisa em geologia e em outros campos de estudo relacionados à Terra. Na verdade, ele poderia permitir que as equipes de pesquisa treinassem modelos de despeckling com mais facilidade e eficiência, melhorando a qualidade dos dados SAR sem ter que compilar grandes conjuntos de dados de imagens sem manchas.


Publicado em 09/11/2021 09h27

Artigo original:

Estudo original: