Sensores inspirados na retina para uma percepção visual mais adaptável

Uma fotografia da matriz de sensores de visão bio-inspirada em um chip de 2,5 × 3,0 cm2 em cubos (esquerda) e estrutura esquemática e imagem de microscópio óptico de um único sensor de visão (direita). Crédito: Liao et al.

Para monitorar e navegar em ambientes do mundo real, máquinas e robôs devem ser capazes de coletar imagens e medições sob diferentes condições de iluminação de fundo. Nos últimos anos, engenheiros de todo o mundo têm tentado desenvolver sensores cada vez mais avançados, que possam ser integrados a robôs, sistemas de vigilância ou outras tecnologias que possam se beneficiar da detecção de seus arredores.

Pesquisadores da Universidade Politécnica de Hong Kong, Universidade de Pequim, Universidade Yonsei e Universidade Fudan criaram recentemente um novo sensor que pode coletar dados em várias condições de iluminação, empregando um mecanismo que replica artificialmente o funcionamento da retina no olho humano. Este sensor bio-inspirado, apresentado em um artigo publicado na Nature Electronics, foi fabricado usando fototransistores feitos de dissulfeto de molibdênio.

“Nossa equipe de pesquisa iniciou a pesquisa sobre memória optoeletrônica há cinco anos”, disse Yang Chai, um dos pesquisadores que desenvolveram o sensor, ao TechXplore. “Este dispositivo emergente pode produzir sinais dependentes da luz e dependentes do histórico, o que permite integração de imagem, acúmulo de sinal fraco, análise de espectro e outras funções complicadas de processamento de imagem, integrando a multifuncional de detecção, armazenamento de dados e processamento de dados em um único dispositivo”.

Em 2018, Chai e seus colegas publicaram seu primeiro artigo sobre memórias optoeletrônicas, onde introduziram um dispositivo de memória de comutação resistiva, que poderia realizar operações de fotossensibilização e lógica. Um ano depois, a equipe apresentou um novo dispositivo de memória de acesso aleatório resistivo optoeletrônico com três capacidades diferentes. Especificamente, este novo dispositivo pode detectar o ambiente, armazenar informações em sua memória e realizar operações de pré-processamento visual neuromórfico.

“Em 2020, examinamos o conceito de paradigmas de computação próximo ao sensor e no sensor e fornecemos nossa perspectiva nesse campo”, disse Chai. “Nosso novo estudo baseia-se em todos os nossos esforços anteriores.”

A intensidade da luz natural pode variar significativamente, com um alcance geral de 280 dB. Ao perceber sinais de luz externos, a retina humana ajusta a fotossensibilidade de seus fotorreceptores (isto é, bastonetes e cones) de acordo com a intensidade dos sinais. Em última análise, isso permite que o olho humano se adapte gradualmente a diferentes níveis de iluminação, para ver bem em ambientes escuros e claros, uma capacidade conhecida como “adaptação visual”.

“Por exemplo, quando você entra em uma sala de cinema escura de uma sala iluminada, mal consegue ver nada inicialmente, mas depois de um tempo no cinema, fica mais fácil de ver”, explicou Chai. “Esse fenômeno é chamado de adaptação escotópica. Em contraste, se você sai de um cinema escuro em um dia ensolarado, fica muito deslumbrado no início e demora um pouco para ver o cenário ao redor. Esse processo é o oposto da adaptação escotópica , que é chamado de adaptação fotópica.”

O objetivo principal do trabalho recente de Chai e seus colegas foi construir um dispositivo de detecção inspirado na estrutura e função da retina humana. Para fazer isso, eles começaram a pesquisar a retina e depois tentaram elaborar estratégias que lhes permitissem replicar artificialmente suas capacidades de adaptação visual.

Sensores de imagem de última geração baseados em tecnologias de silício-óxido metálico-semicondutor complementar (CMOS) normalmente têm uma faixa dinâmica limitada de 70 dB. Essa faixa é significativamente mais estreita do que a faixa de iluminação de cenas naturais (280 dB).

?Para permitir a visão sob uma grande faixa de intensidade de iluminação, os pesquisadores exploraram o uso de aberturas ópticas controladas, lentes líquidas, tempos de exposição ajustáveis ??e algoritmos de redução de ruído no pós-processamento?, disse Chai. “No entanto, essas abordagens normalmente exigem recursos complexos de hardware e software.”

Adaptação escotópica e fotópica da matriz de sensores de visão bio-inspirada. (a) Ilustração esquemática de uma matriz de 8×8 pixels sob um fundo escuro para reconhecer imagem de baixa intensidade para teste de adaptação escotópica. (b) Ilustração esquemática de uma matriz de 8×8 pixels sob um fundo brilhante para reconhecer uma imagem de luz forte para teste de adaptação fotópica. O curso de tempo de (c) adaptação escotópica e (d) fotópica para o padrão de “8”. Crédito: Liao et al.

Dispositivos optoeletrônicos capazes de adaptação visual e com amplo alcance de percepção em terminais sensoriais podem ter aplicações muito valiosas. Por exemplo, eles podem ajudar a melhorar o desempenho das ferramentas de visão computacional, reduzir a complexidade do hardware necessário para construir robôs ou outros sistemas de detecção e melhorar a precisão dos sistemas de reconhecimento de imagem.

No passado, outras equipes de pesquisa introduziram dispositivos optoeletrônicos que podem se adaptar a diferentes condições de iluminação. No entanto, a maioria dos dispositivos propostos anteriormente só pode replicar o mecanismo de adaptação fotópica da retina. O processo de adaptação escotópica, por outro lado, tem se mostrado até agora mais difícil de simular.

“Ainda há um longo caminho a percorrer antes que possamos replicar totalmente a função de adaptação visual da retina”, explicou Chai. “Para avançar nesse objetivo, projetamos um sensor de visão do tipo fototransistor usando um semicondutor ultrafino, que pode controlar o grau de adaptação escotópica e adaptação fotópica no mesmo dispositivo aplicando diferentes tensões de porta. fotorreceptores e células horizontais na retina e realizou com sucesso os dispositivos de adaptação visual no sensor bio-inspirados com uma faixa de percepção expandida de 199 dB.”

O sensor de visão bio-inspirado desenvolvido por Chai e seus colegas é baseado em um fototransistor feito de um material semicondutor ultrafino (ou seja, dissulfeto de molibdênio). Os fototransistores que eles usaram têm vários estados de armadilha de carga, estados que podem prender ou desprender elétrons dentro do canal sob diferentes tensões de porta.

Em última análise, esses estados permitem que os pesquisadores modifiquem dinamicamente a condutância de seu dispositivo. Isso, por sua vez, permite replicar artificialmente os mecanismos de adaptação escotópica e fotópica da retina humana, ampliando o alcance de percepção de seu sensor em resposta a diferentes condições de iluminação.

“Nosso sensor tem várias vantagens e características”, disse Chai. “Em primeiro lugar, a função de adaptação visual é realizada em um único dispositivo, o que reduz substancialmente sua pegada. Em segundo lugar, pode atingir várias funções com um único dispositivo, incluindo detecção de luz, memória e processamento. adaptação fotópica a diferentes intensidades de luz de fundo, simplesmente controlando suas tensões de porta.”

Chai e seus colegas avaliaram seu sensor bio-inspirado em uma série de testes e descobriram que ele pode efetivamente emular a função da retina humana, alcançando resultados notáveis ??na adaptação escotópica e fotópica. Além disso, em contraste com as soluções propostas anteriormente, possui uma faixa de percepção significativamente maior (ou seja, 199 dB).

“Nosso sensor pode enriquecer as funções de visão de máquina, reduzir a complexidade do hardware e obter alta eficiência de reconhecimento de imagem”, disse Chai. “Todos esses benefícios têm grandes perspectivas de aplicação nas áreas de direção automática, reconhecimento facial e fabricação industrial em ambientes de iluminação complexos.”

Em seus próximos estudos, os pesquisadores planejam melhorar ainda mais o desempenho de seus sensores, além de usá-los para fabricar sistemas de grande escala compostos por uma série de sensores. Idealmente, eles gostariam de construir esse conjunto de sensores em um substrato flexível ou hemisférico, para obter um campo de visão mais amplo.

“Uma área de melhoria é o tempo de adaptação do nosso sensor, pois ainda não é curto o suficiente para permitir aplicações de visão de máquina”, acrescentou Chai. “Nossa meta é reduzir o tempo de adaptação ao nível de microssegundos. A escala do array de sensores também precisa de melhorias. Nosso objetivo de curto prazo de escala do array é maior que 100×100. Finalmente, a integração heterogênea de sensores de visão e o unidades de processamento com circuitos de controle baseados em Si é um passo muito importante para avançar em direção a aplicações práticas.”


Publicado em 10/03/2022 21h15

Artigo original:

Estudo original: