DOI: 10.32942/X2GG62
Credibilidade: 898
#Biólogo
A ampla distribuição de resultados mostra como as escolhas analíticas conduzem às conclusões.
Num enorme exercício para examinar a reprodutibilidade, mais de 200 biólogos analisaram os mesmos conjuntos de dados ecológicos – e obtiveram resultados amplamente divergentes. O primeiro estudo abrangente deste tipo em ecologia demonstra o quanto os resultados neste campo podem variar, não devido a diferenças no ambiente, mas devido às escolhas analíticas dos cientistas.
“Pode haver uma tendência de tratar as descobertas de artigos individuais como definitivas”, diz Hannah Fraser, metapesquisadora de ecologia da Universidade de Melbourne, na Austrália, e coautora do estudo. Mas os resultados mostram que “não podemos realmente confiar em nenhum resultado individual ou em qualquer estudo individual para nos contar toda a história”.
A variação nos resultados pode não ser surpreendente, mas quantificar essa variação num estudo formal poderia catalisar um movimento maior para melhorar a reprodutibilidade, diz Brian Nosek, diretor executivo do Centro de Ciência Aberta em Charlottesville, Virgínia, que conduziu discussões sobre a reprodutibilidade no Ciências Sociais.
“Este artigo pode ajudar a consolidar o que é uma comunidade relativamente pequena e reformista na ecologia e na biologia evolutiva num movimento muito maior, da mesma forma que o projeto de reprodutibilidade que fizemos na psicologia”, diz ele. Seria difícil “para muitos neste campo não reconhecerem as implicações profundas deste resultado para o seu trabalho”.
O estudo foi publicado como pré-impressão em 4 de outubro. Os resultados ainda não foram revisados por pares.
Raízes dos estudos de replicação
O método de “muitos analistas” foi pioneiro por psicólogos e cientistas sociais em meados da década de 2010, à medida que se tornavam cada vez mais conscientes dos resultados no campo que não podiam ser replicados. Esse trabalho fornece a vários pesquisadores os mesmos dados e as mesmas questões de pesquisa. Os autores podem então comparar como as decisões tomadas após a coleta de dados afetam os tipos de resultados que eventualmente serão publicados.
O estudo de Fraser e seus colegas traz o método de muitos analistas para a ecologia. Os pesquisadores deram aos cientistas participantes um de dois conjuntos de dados e uma pergunta de pesquisa que os acompanha: “Até que ponto o crescimento dos filhotes de chapim-azul (Cyanistes caeruleus) é influenciado pela competição com irmãos?” ou “Como a cobertura de grama influencia os Eucalyptus spp. recrutamento de mudas?”
A maioria dos participantes que examinaram os dados do chapim-azul descobriram que a competição entre irmãos afeta negativamente o crescimento dos filhotes. Mas eles discordaram substancialmente sobre o tamanho do efeito.
As conclusões sobre a intensidade com que a cobertura de gramíneas afeta o número de mudas de eucalipto mostraram uma disseminação ainda maior. Os autores do estudo calcularam a média dos tamanhos dos efeitos para esses dados e não encontraram nenhuma relação estatisticamente significativa. A maioria dos resultados mostrou apenas efeitos negativos ou positivos fracos, mas houve valores discrepantes: alguns participantes descobriram que a cobertura de erva diminuiu fortemente o número de plântulas. Outros concluíram que melhorou drasticamente a contagem de mudas.
Os autores também simularam o processo de revisão por pares, fazendo com que outro grupo de cientistas revisasse os resultados dos participantes. Os revisores deram notas baixas aos resultados mais extremos na análise do Eucalyptus, mas não na do chapim-azul. Mesmo depois de os autores terem excluído as análises mal avaliadas pelos revisores, os resultados coletivos ainda mostraram uma grande variação, diz Elliot Gould, modelador ecológico da Universidade de Melbourne e coautor do estudo.
Certo versus errado
Apesar da ampla gama de resultados, nenhuma das respostas está errada, diz Fraser. Em vez disso, a dispersão reflecte fatores como a formação dos participantes e a forma como definem os tamanhos das amostras.
Então, “como você sabe qual é o verdadeiro resultado?” Gould pergunta. Parte da solução poderia ser pedir aos autores de um artigo que exponham as decisões analíticas que tomaram e as potenciais advertências dessas escolhas, diz Gould.
Nosek diz que os ecologistas também poderiam usar práticas comuns em outras áreas para mostrar a amplitude dos resultados potenciais de um artigo. Por exemplo, os testes de robustez, que são comuns em economia, exigem que os investigadores analisem os seus dados de diversas maneiras e avaliem a quantidade de variação nos resultados.
Mas compreender como a variação analítica influencia os resultados é especialmente difícil para os ecologistas devido a uma complicação incorporada na sua disciplina. “Os fundamentos deste campo são observacionais”, diz Nicole Nelson, etnógrafa da Universidade de Wisconsin-Madison. “Trata-se de sentar e observar o que o mundo natural joga em você – o que é uma grande variação.”
Publicado em 21/10/2023 18h02
Artigo original:
Estudo original: