Deep neural networks rastreiam movimentos oculares durante exames de ressonância magnética

Imagem via Unsplash

Nossos olhos são considerados janelas para a alma. Para cientistas e médicos, os olhos fornecem acesso a memórias, cognição e até disfunção neurológica. O que nossos olhos fixam e como mantemos nosso olhar pode ser diagnóstico de memórias de trabalho prejudicadas, indicativo de amnésia ou até mesmo sinal de doença de Parkinson.

O padrão-ouro da neuroimagem humana moderna é a ressonância magnética funcional (fMRI), que usa campos magnéticos fortes para medir mudanças no fluxo sanguíneo e, portanto, na atividade cerebral. A técnica não é invasiva – não requer injeções, radiação ionizante ou cirurgia. O monitoramento do movimento dos olhos durante a imagem pode adicionar informações valiosas aos estudos de fMRI e às rotinas clínicas. No entanto, o ambiente magnético impõe restrições aos equipamentos trazidos para dentro do scanner, dificultando o rastreamento ocular.

Os rastreadores oculares baseados em câmeras compatíveis com MR, como o EyeLink 1000 Plus, podem custar cerca de US$ 40.000 aos laboratórios de pesquisa. Como tal, apenas 10% dos estudos de fMRI publicados nos últimos dois anos empregaram o rastreamento ocular, e apenas metade deles usou o rastreamento ocular para ajudar a interpretar seus resultados.

Para lidar com essa baixa utilização do rastreamento ocular, pesquisadores do Kavli Institute for Systems Neuroscience e do Max Planck Institute for Human Cognitive and Brain Sciences desenvolveram o DeepMReye, uma rede neural convolucional que usa o sinal de RM dos olhos para rastreamento ocular, sem a necessidade para uma câmera.

Métodos Computacionais do BrainsCAN Fonte: DeepMReye

Em seis conjuntos de dados independentes de 3T-MRI, seu algoritmo de aprendizado de máquina aprendeu a detectar padrões no sinal de MRI indicativos da posição do olhar e, em seguida, decodificar ou reconstruir o comportamento de visualização correspondente em dados que o algoritmo nunca havia visto antes. Criticamente, isso significa que o DeepMReye pode realizar rastreamento ocular mesmo em conjuntos de dados de fMRI existentes, tornando possível abordar novas questões de pesquisa usando um recurso de dados grande e imediatamente disponível. A equipe descreve DeepMReye na Nature Neuroscience.

Os olhos humanos têm dificuldade em extrair sinais de ruído em grandes conjuntos de dados – encontrar Waldo nem sempre é fácil para todos. Mas os algoritmos de aprendizado de máquina podem descobrir padrões de emaranhados inescrutáveis de dados complexos. Os autores conjuntos Markus Frey e o neurocientista do NIH Matthias Nau instruíram seu modelo a extrair padrões generalizáveis dos globos oculares usando técnicas de redução de dimensionalidade e, em seguida, interpretar esses padrões em um grande número de conjuntos de dados de ressonância magnética existentes.

Aqui está como funciona. Quando os olhos se movem, o sinal de ressonância magnética sofre variações perceptíveis. Para visualizar essas variações, a equipe primeiro extraiu os voxels do globo ocular e plotou a intensidade do sinal normalizado desses voxels em função da posição do olhar. Isso deixou claro que a posição do olhar realmente afeta muito o sinal de ressonância magnética do globo ocular.

Os pesquisadores então inserem os voxels do globo ocular em uma rede neural convolucional, que seleciona os recursos relevantes antes de reduzir o tamanho do recurso de entrada em pedaços mais gerenciáveis para os processadores subjacentes. Os dados de entrada com dimensionalidade reduzida servem então como base para treinar camadas totalmente conectadas, ou decodificadores, para reconstruir as posições do olhar.

Os pesquisadores examinaram a eficácia de seu algoritmo de aprendizado de máquina comparando os dados do DeepMReye com os resultados de um rastreador ocular baseado em câmera. Com 268 conjuntos de dados de participantes existentes carregados na CNN, 90 com rastreamento ocular baseado em câmera, os cientistas puderam confirmar a alta precisão de seu modelo e ajustá-lo de acordo.

A equipe aplicou a técnica a conjuntos de dados de fMRI de participantes que executavam várias tarefas relacionadas à visão, durante as quais mantinham a fixação ou executavam tarefas de perseguição ou visualização livre. A capacidade de aplicar esse algoritmo universalmente, exigindo apenas as informações de ressonância magnética, permite que os pesquisadores extraiam valor de conjuntos de dados maciços que já existem.

Além disso, ao contrário das câmeras de rastreamento ocular compatíveis com MR, o DeepMReye rastreia com precisão as posições do olhar mesmo quando os olhos estão fechados, abrindo novas possibilidades para estudos de fMRI em estado de repouso ou até mesmo estudos de participantes em sono de movimento rápido dos olhos (REM). O algoritmo também pode ser usado para realizar rastreamento ocular em pessoas com cegueira, que tradicionalmente são excluídas dessa pesquisa porque as câmeras não podem ser calibradas de acordo. O DeepMReye não precisa saber se o paciente é cego ou não – o algoritmo funciona em todos os indivíduos.

Cientistas e médicos acreditam que o rastreamento ocular pode ser inestimável para pesquisas, ajudando a informar estudos que exploram nossos sistemas visuais ou oculomotores. Por exemplo, emparelhar mapas de neuroimagem da atividade cerebral total com medições precisas dos movimentos oculares de rastreadores oculares pode ajudar os pesquisadores a aprender mais sobre a doença de Alzheimer e outros distúrbios neurais.

Espalhe a notícia: A equipe fornece documentação sobre o DeepMReye para estimular e incentivar o rastreamento ocular em estudos de pesquisa. Um notebook Jupyter percorre o código para ajudar os usuários a executar seu código em seus próprios dados em seu próprio navegador. (Cortesia: Matthias Nau & Markus Frey)

O que começou como um projeto de fim de semana agora é um código-fonte aberto que pode ser baixado na página do GitHub dos pesquisadores. Mas quando o rastreamento ocular se tornará o padrão-ouro na pesquisa de fMRI? Avanços adicionais podem levar a uma melhor modelagem, que se torna uma leitura robusta de nossos comportamentos. Como nossos olhos expressam nossos pensamentos, objetivos e memórias, este é mais um exemplo de como a inteligência artificial pode ajudar a substituir hardware caro por software livre para o benefício de todos. Em última análise, a pesquisa realizada com essa nova ferramenta pode nos ajudar a entender melhor quem somos.


Publicado em 29/01/2022 06h08

Artigo original:

Estudo original:

Artigo relacionado: