Uma estrutura de aprendizado de reforço profundo para identificar os principais participantes em redes complexas

Localizando os principais participantes de uma rede. (a) A rede terrorista do 11 de setembro, que contém 62 nós e 159 arestas. Os nós representam terroristas envolvidos no ataque do 11 de setembro, e as arestas representam suas comunicações sociais. O tamanho do nó é proporcional ao seu grau. (b) A remoção de 16 nós (ciano) com o grau mais alto (HD) causa danos consideráveis, tornando o GCC restante (roxo) de 14 nós. (c) A remoção de 16 nós (ciano) com a maior influência coletiva (IC) resulta em uma fragmentação e o GCC restante (roxo) contém 18 nós. (d) O FINDER remove apenas 14 nós (ciano), mas leva a uma rede mais fragmentada e o GCC restante (roxo) contém apenas 9 nós. Crédito: Changjun Fan.

A ciência de rede é um campo acadêmico que visa desvendar a estrutura e a dinâmica por trás das redes, como telecomunicações, computadores, redes biológicas e sociais. Um dos problemas fundamentais que os cientistas de rede tentam resolver nos últimos anos envolve a identificação de um conjunto ideal de nós que mais influenciam a funcionalidade de uma rede, denominados atores-chave.

A identificação de atores-chave poderia beneficiar muito muitas aplicações do mundo real, por exemplo, aprimorando técnicas para a imunização de redes, além de ajudar no controle de epidemias, design de medicamentos e marketing viral. Devido à sua natureza NP-difícil, no entanto, resolver esse problema usando algoritmos exatos com complexidade de tempo polinomial provou ser altamente desafiador.

Pesquisadores da Universidade Nacional de Tecnologia de Defesa da China, Universidade da Califórnia, Los Angeles (UCLA) e Harvard Medical School (HMS) desenvolveram recentemente uma estrutura de aprendizado de reforço profundo (DRL), apelidada de FINDER, que pode identificar os principais atores de redes complexas mais eficientemente. Sua estrutura, apresentada em um artigo publicado na Nature Machine Intelligence, foi treinada em um pequeno conjunto de redes sintéticas geradas por modelos de rede clássicos e depois aplicada a cenários do mundo real.

“Este trabalho foi motivado por uma pergunta fundamental na ciência de redes: como podemos encontrar um conjunto ideal de atores-chave cuja ativação (ou remoção) melhoraria ao máximo (ou degradaria) a funcionalidade de rede?” Yang-Yu Liu, um dos pesquisadores seniores que realizaram o estudo, disse ao TechXplore. “Muitas estratégias aproximadas e heurísticas foram propostas para lidar com cenários de aplicativos específicos, mas ainda não temos uma estrutura unificada para resolver esse problema com eficiência”.

O FINDER, que significa Encontrar os principais participantes de redes por meio do aprendizado do DEep Reforcement, baseia-se em técnicas de aprendizado profundo recentemente desenvolvidas para solucionar problemas de otimização combinatória. Os pesquisadores treinaram o FINDER em um grande conjunto de pequenas redes sintéticas geradas por modelos de rede clássicos, guiando-o usando uma função de recompensa específica para a tarefa que está tentando resolver. Essa estratégia orienta o FINDER a determinar o que deve ser feito (ou seja, qual nó ele deve escolher) para acumular a maior recompensa durante um período de tempo com base em seu estado atual (ou seja, a estrutura de rede atual).

“Pode ser simples representar estados e ações em tarefas tradicionais de aprendizado por reforço, como em robótica, o que não é o caso de redes”, disse Yizhou Sun, outro pesquisador sênior envolvido no estudo, ao TechXplore. “Outro desafio que enfrentamos ao trabalhar neste projeto foi determinar como representar uma rede, pois ela possui uma estrutura de dados discreta e fica em um espaço extremamente dimensional. Para resolver esse problema, estendemos a atual rede neural gráfica para representar os nós (ações) e gráficos (estados), aprendidos em conjunto com a tarefa de aprendizado por reforço “.

Encontrar atores-chave na rede terrorista do 11 de setembro, onde cada nó representa um terrorista envolvido no ataque do 11 de setembro e as bordas representam suas comunicações sociais. O tamanho do nó é proporcional ao seu grau. Três métodos: (a) alto grau (HD); (b) FINDER; (c) Influência coletiva (IC). Nós azuis representam nós no gráfico restante, nós vermelhos indicam os principais players identificados na etapa de tempo atual e nós cinza são os restantes isolados. O painel (d) ilustra as curvas de conectividade normalizada acumulada (ANC) dos três métodos, que são plotadas com o eixo horizontal sendo a fração de nós removidos e o eixo vertical sendo a fração de nós no restante componente conectado gigante (GCC). Crédito: Changjun Fan.

Para representar eficientemente redes complexas, os pesquisadores determinaram coletivamente a melhor representação para estados e ações individuais da rede e a melhor estratégia para identificar uma ação ideal quando a rede está em estados específicos. As representações resultantes podem orientar o FINDER na identificação dos principais participantes de uma rede.

A nova estrutura criada por Sun, Liu e seus colegas é altamente flexível e, portanto, pode ser aplicada à análise de uma variedade de redes do mundo real simplesmente alterando sua função de recompensa. Também é altamente eficaz, pois foi comprovado que supera muitas estratégias desenvolvidas anteriormente para identificar os principais participantes das redes, tanto em termos de eficiência quanto de velocidade. Notavelmente, o FINDER pode ser facilmente ampliado para analisar uma ampla gama de redes contendo milhares ou até milhões de nós.

“Comparado às técnicas existentes, o FINDER alcança desempenhos superiores em termos de eficácia e eficiência na busca de atores-chave em redes complexas”, disse Liu. “Representa uma mudança de paradigma na solução de problemas desafiadores de otimização em redes complexas do mundo real. Não exigindo conhecimento específico de domínio, mas apenas o grau de heterogeneidade das redes reais, a FINDER alcança esse objetivo por auto-treinamento offline em pequenos gráficos sintéticos apenas uma vez, e, em seguida, generaliza surpreendentemente bem em diversos domínios de redes do mundo real com tamanhos muito maiores “.

Até agora, a nova estrutura de reforço profundo alcançou resultados altamente promissores. No futuro, poderia ser usado para estudar redes sociais, redes de energia, a disseminação de doenças infecciosas e muitos outros tipos de rede.

As descobertas reunidas por Liu, Sun e seus colegas destacam a promessa de modelos de rede clássicos, como o modelo Barabási-Albert, dos quais eles se inspiraram. Embora os modelos simples possam parecer muito básicos, na verdade, eles geralmente capturam o recurso principal de muitas redes do mundo real, a saber, o grau de heterogeneidade. Esse recurso pode ser de grande valor ao tentar resolver problemas complexos de otimização relacionados a redes complexas.

“Meu laboratório está agora buscando várias direções de pesquisa nessa mesma linha de pesquisa, incluindo: (1) projetar melhores arquiteturas de aprendizagem de representação gráfica; (2) explorar como transferir conhecimento entre gráficos diferentes e até gráficos de domínios diferentes; (3) investigar outros problemas difíceis de NP em gráficos e resolvê-los da perspectiva de aprendizado “, afirmou Sun.

Enquanto Sun e sua equipe na UCLA planejam trabalhar em novas técnicas de pesquisa em ciências de redes, Liu e sua equipe na HMS gostariam de começar a testar o FINDER em redes biológicas reais. Mais especificamente, eles gostariam de usar a estrutura para identificar atores-chave nas redes de interação proteína-proteína e redes reguladoras de genes que poderiam desempenhar papéis cruciais na saúde e nas doenças humanas.


Publicado em 27/06/2020 14h59

Artigo original:

Estudo original:


Achou importante? Compartilhe!


Assine nossa newsletter e fique informado sobre Astrofísica, Biofísica, Geofísica e outras áreas. Preencha seu e-mail no espaço abaixo e clique em “OK”: