Deepfakes realistas em 5 minutos no Colab

Imagem de Stefan Keller, Pixabay

E por que devemos educar o público sobre a existência de tal tecnologia

Senhoras e senhores, os vídeos Deepfake são tão fáceis de criar que qualquer um pode fazer um. Você não precisa de um PhD, não precisa treinar modelos por horas, nem precisa fazer um curso de Rede Adversarial Gerativa.

Tudo o que você precisa fazer é gravar um vídeo de você mesmo e escolher uma foto da pessoa que você deseja personificar. O aprendizado de máquina animará a pessoa na imagem da maneira que você quiser no vídeo.

Gere Deepfakes com uma única imagem

A animação de imagem visa gerar sequências de vídeo de forma que a pessoa na imagem de origem seja animada de acordo com o movimento de um vídeo.

Essa tecnologia está dentro do campo da visão computacional, e os pesquisadores de IA têm trabalhado para produzir vídeos mais realistas. Ele aproveita o aprendizado de máquina para manipular e gerar imagens ou vídeos visuais que substituem uma pessoa por outra.

Modelo de movimento de primeira ordem para animação de imagens [por Aliaksandr]

Pelo amor à ciência e do ponto de vista da pesquisa, o trabalho de Aliaksandr é certamente impressionante. Foi publicado no NeurIPS e os códigos-fonte estão disponíveis online.

Seu trabalho supera o estado da arte em todos os benchmarks e funciona em uma variedade de imagens (rostos, corpo, desenho animado e robô). O modelo é tão flexível que você pode criar Deepfakes de boa qualidade com uma única imagem do objeto de destino.

Nenhuma informação prévia necessária

Sua capacidade de aprender os movimentos faciais é inacreditável. Você pode ver que ele pode identificar pontos-chave no rosto e segue esses pontos-chave para os movimentos no vídeo muito bem.

O modelo aprende a identificar os pontos-chave [por Aliaksandr]

Em trabalhos anteriores, precisamos de informações adicionais, como pontos de referência faciais para mapear o movimento da cabeça e estimativa de pose para mapear o movimento de corpo inteiro.

Trabalhos anteriores exigem pontos de referência faciais e estimativa de pose [por Aliaksandr]

Neste trabalho, ele pode funcionar sem o uso de qualquer anotação ou informação prévia sobre o objeto específico a ser animado. Uma vez que o modelo foi treinado nas faces, o modelo pode transferir qualquer movimento para quaisquer faces.

Movimento bonito da cabeça

Você pode gravar um vídeo de você mesmo e animar a pessoa na foto. Sim, até mesmo um retrato em pintura da Mona Lisa.

Você pode olhar para cima e virar a cabeça. Você pode dizer algo, e os movimentos da boca ficam ótimos. Você pode revirar os olhos e isso mapeia os movimentos dos olhos perfeitamente no vídeo-alvo.

Movimentos de cabeça gerados [por Aliaksandr]

Movimento de corpo inteiro também

Também funciona para vídeos com movimento de corpo inteiro! Teoricamente, isso significa que você pode pegar o vídeo de Billie Jean e fazer Donald Trump fazer um moonwalk como Michael Jackson.

Movimentos de corpo inteiro gerados [por Aliaksandr]

Ele gera o fundo

Conforme a pessoa cobre a parte da imagem, o algoritmo precisa descobrir o fundo por trás da pessoa. Neste trabalho, ele gera automaticamente o fundo que é percorrido pela pessoa em movimento – absolutamente fantástico.

Como funciona?

O trabalho do Aliaksandr consiste no extrator de movimento que aprende a extrair pontos-chave junto com suas transformações afins locais. Existe uma rede de gerador que modela oclusões nos movimentos alvo e combina a aparência extraída da imagem de origem e o movimento derivado do vídeo de condução.

Modelo de movimento de primeira ordem [do papel]

Para entender como funciona, sugiro que você visite a página do GitHub e examine o artigo de pesquisa. Você também pode assistir ao vídeo dele explicando como funciona. Coisa legal sólida.

Quer fazer o seu próprio? Confira este notebook Colab.

Consequências negativas de Deepfakes

Deepfakes tem atraído atenção generalizada por seu uso em notícias falsas, fraudes, golpes e muitas outras atividades ilegais.

As pessoas costumavam compartilhar seus vídeos Deepfakes que criaram no subreddit, r / deepfakes. Muitos desses vídeos trocam os rostos de celebridades, como Gal Gadot e Taylor Swift, por corpos de artistas de pornografia.

Muitos vídeos Deepfakes também são compartilhados retratando políticos. Afetou a política por ser governos autoritários a espalhar informações falsas, ódio e medo.

Esta tecnologia preocupou a indústria e o governo em controlar e limitar o uso de Deepfakes. Em fevereiro de 2018, o Reddit suspendeu o r / deepfakes por violar políticas. Em junho de 2019, ele chamou a atenção do governo para combater a disseminação da desinformação por meio da limitação da tecnologia de alteração de vídeo da Deepfakes.

Junte-se a mim para informar sobre sua existência

Saber que existem pessoas ao redor do mundo que abusam dessa tecnologia. Você pode perguntar: por que estou escrevendo sobre isso? Por que estou espalhando esse conhecimento?

Uma vez que nos dias de hoje, qualquer pessoa pode criar vídeos falsos facilmente, esses modelos generativos não são mais ficção científica. Tenho como objetivo educar o público para que as pessoas saibam da existência dessa tecnologia. Ao compreender sua existência, as pessoas podem estar cientes e prestar mais atenção ao discernimento entre o real e o falso.

Notícias falsas fazem parte da estrutura da Internet de hoje, agora com Deepfakes facilmente avaliável; isso trouxe a desinformação a um nível totalmente novo. Ele afetou a política ao espalhar informações falsas. Isso levou a pessoas exploradas por golpistas que o estão usando para enganar dinheiro online.

O mundo já está uma bagunça agora devido ao coronavírus; Não tenho certeza de como as pessoas vão abusar dessa tecnologia nessas ocasiões. Deepfakes, como forma de desinformação, são perigosos. Precisamos educar as pessoas sobre tecnologia, e as pessoas precisam discernir a verdade, em vez de apenas acreditar no que vemos.


Publicado em 08/10/2021 21h35

Artigo original: