DR_MICROBE / ISTOCK / GETTY IMAGES PLUS
Após oito anos, um projeto que tentava reproduzir os resultados de estudos importantes da biologia do câncer foi finalmente concluído. E suas descobertas sugerem que, como a pesquisa nas ciências sociais, a pesquisa do câncer tem um problema de replicação.
Os pesquisadores com o Projeto Reprodutibilidade: Biologia do Câncer objetivaram replicar 193 experimentos de 53 artigos importantes sobre câncer publicados de 2010 a 2012. Mas apenas um quarto desses experimentos foi capaz de ser reproduzido, relata a equipe em dois artigos publicados em 7 de dezembro na eLife.
Os pesquisadores não puderam concluir a maioria dos experimentos porque a equipe não conseguiu reunir informações suficientes dos artigos originais ou de seus autores sobre os métodos usados, ou obter os materiais necessários para tentar a replicação.
Além do mais, dos 50 experimentos de 23 artigos que foram reproduzidos, os tamanhos dos efeitos foram, em média, 85 por cento menores do que os relatados nos experimentos originais. Os tamanhos de efeito indicam o quão grande é o efeito encontrado em um estudo. Por exemplo, dois estudos podem descobrir que um determinado produto químico mata as células cancerosas, mas o produto químico mata 30 por cento das células em um experimento e 80 por cento das células em um experimento diferente. O primeiro experimento tem menos da metade do tamanho do efeito visto no segundo.
Após oito anos, um projeto que tentava reproduzir os resultados de estudos importantes da biologia do câncer foi finalmente concluído. E suas descobertas sugerem que, como a pesquisa nas ciências sociais, a pesquisa do câncer tem um problema de replicação.
Os pesquisadores com o Projeto Reprodutibilidade: Biologia do Câncer objetivaram replicar 193 experimentos de 53 artigos importantes sobre câncer publicados de 2010 a 2012. Mas apenas um quarto desses experimentos foi capaz de ser reproduzido, relata a equipe em dois artigos publicados em 7 de dezembro na eLife.
Os pesquisadores não puderam concluir a maioria dos experimentos porque a equipe não conseguiu reunir informações suficientes dos artigos originais ou de seus autores sobre os métodos usados, ou obter os materiais necessários para tentar a replicação.
Além do mais, dos 50 experimentos de 23 artigos que foram reproduzidos, os tamanhos dos efeitos foram, em média, 85 por cento menores do que os relatados nos experimentos originais. Os tamanhos de efeito indicam o quão grande é o efeito encontrado em um estudo. Por exemplo, dois estudos podem descobrir que um determinado produto químico mata as células cancerosas, mas o produto químico mata 30 por cento das células em um experimento e 80 por cento das células em um experimento diferente. O primeiro experimento tem menos da metade do tamanho do efeito visto no segundo.
MARKUS SCHOBER, PH.D. E ELAINE FUCHS, PH.D., ROCKEFELLER UNIVERSITY / FLICKR (CC BY-NC-SA 2.0)
Muito desse fracasso é esperado. “Somos humanos tentando entender doenças complexas, nunca vamos entender direito”, diz Errington. Mas, dadas as descobertas do projeto de reprodutibilidade do câncer, talvez “devêssemos saber que estávamos falhando antes, ou talvez não entendamos realmente o que está causando [uma] descoberta emocionante”, diz ele.
Ainda assim, não é que a falha na replicação signifique que um estudo estava errado ou que replicá-lo signifique que as descobertas estão corretas, diz Shirley Wang, epidemiologista do Brigham and Women’s Hospital em Boston e da Harvard Medical School. “Significa apenas que você é capaz de reproduzir”, diz ela, um ponto que o projeto de reprodutibilidade também destaca.
Os cientistas ainda precisam avaliar se os métodos de um estudo são imparciais e rigorosos, diz Wang, que não estava envolvido no projeto, mas revisou suas descobertas. E se os resultados dos experimentos originais e suas replicações forem diferentes, é uma oportunidade de aprendizado para descobrir o porquê e as implicações, acrescenta ela.
Errington e seus colegas relataram subconjuntos de descobertas do projeto de reprodutibilidade do câncer antes, mas esta é a primeira vez que toda a análise do esforço foi lançada.
Durante o projeto, os pesquisadores enfrentaram uma série de obstáculos, principalmente porque nenhum dos experimentos originais incluiu detalhes suficientes em seus estudos publicados sobre métodos de tentativa de reprodução. Assim, os pesquisadores de reprodutibilidade contataram os autores dos estudos para informações adicionais.
Enquanto cerca de um quarto dos autores foram úteis, outro terço não respondeu aos pedidos de mais informações ou não foram úteis de outra forma, concluiu o projeto. Por exemplo, um dos experimentos que o grupo não conseguiu replicar exigiu o uso de um modelo de camundongo criado especificamente para o experimento original. Errington diz que os cientistas que conduziram esse trabalho se recusaram a compartilhar alguns desses ratos com o projeto de reprodutibilidade e, sem esses roedores, a replicação era impossível.
LEIDOS BIOMEDICAL RESEARCH, INC./NATIONAL CANCER INSTITUTE
Alguns pesquisadores foram francamente hostis à ideia de que cientistas independentes queriam tentar replicar seu trabalho, diz Errington. Essa atitude é o produto de uma cultura de pesquisa que valoriza a inovação em vez da replicação e que valoriza o sistema acadêmico publicar ou perecer acima da cooperação e do compartilhamento de dados, diz Brian Nosek, diretor executivo do Center for Open Science e co-autor de ambos os estudos .
Alguns cientistas podem se sentir ameaçados pela replicação porque é incomum. “Se a replicação fosse normal e rotineira, as pessoas não a veriam como uma ameaça”, diz Nosek. Mas a replicação também pode parecer intimidante porque os meios de subsistência e até mesmo as identidades dos cientistas estão frequentemente profundamente enraizados em suas descobertas, diz ele. “A publicação é a moeda do avanço, uma recompensa importante que se transforma em chances de financiamento, oportunidades de emprego e chances de manter esse emprego”, diz Nosek. “A replicação não se encaixa perfeitamente nesse sistema de recompensas.”
Mesmo os autores que queriam ajudar nem sempre podiam compartilhar seus dados por vários motivos, incluindo discos rígidos perdidos ou restrições de propriedade intelectual ou dados que apenas ex-alunos de graduação tinham.
As ligações de alguns especialistas sobre a “crise de reprodutibilidade” da ciência vêm crescendo há anos, talvez mais notadamente na psicologia. Então, em 2011 e 2012, as empresas farmacêuticas Bayer e Amgen relataram dificuldades em replicar os resultados da pesquisa biomédica pré-clínica.
Mas nem todos concordam com as soluções, incluindo se a replicação de experimentos-chave é realmente útil ou possível, ou mesmo o que exatamente está errado com a forma como a ciência é feita ou o que precisa ser melhorado.
Pelo menos uma conclusão clara e acionável emergiu das novas descobertas, diz Yvette Seger, diretora de política científica da Federação das Sociedades Americanas de Biologia Experimental. Essa é a necessidade de fornecer aos cientistas tantas oportunidades quanto possível para explicar exatamente como eles conduziram suas pesquisas.
“Os cientistas devem aspirar a incluir o máximo possível de informações sobre seus métodos experimentais para garantir a compreensão dos resultados do outro lado”, diz Seger, que não esteve envolvido no projeto de reprodutibilidade.
Em última análise, se a ciência deve ser uma disciplina autocorretiva, deve haver muitas oportunidades não apenas para cometer erros, mas também para descobrir esses erros, incluindo a replicação de experimentos, dizem os pesquisadores do projeto.
“Em geral, o público entende que a ciência é difícil e acho que o público também entende que a ciência cometerá erros”, diz Nosek. “A preocupação é e deve ser: a ciência é eficiente em detectar seus erros?” As descobertas do projeto de câncer não respondem necessariamente a essa pergunta, mas destacam os desafios de tentar descobrir.
Publicado em 13/12/2021 08h28
Artigo original:
Estudo original: