Uma visão dominante na ciência é que existe uma verdade matemática estruturando o universo. Supõe-se que o trabalho do cientista seja decifrar essas relações matemáticas: uma vez compreendidas, elas podem ser traduzidas em modelos matemáticos. Executar a “realidade do silício” resultante num computador pode então fornecer-nos informações úteis sobre como o mundo funciona.
Como a ciência continua revelando segredos, os modelos ficam cada vez maiores. Integram descobertas e mecanismos recentemente descobertos para refletir melhor o mundo que nos rodeia. Muitos estudiosos presumem que modelos mais detalhados produzem estimativas mais precisas e melhores previsões porque estão mais próximos da realidade. Mas a nossa nova investigação, publicada na Science Advances, sugere que podem ter o efeito oposto.
A suposição de que “quanto mais detalhes, melhor” atravessa campos disciplinares. As ramificações são enormes. As universidades obtêm computadores cada vez mais potentes porque desejam executar modelos cada vez maiores, exigindo uma quantidade cada vez maior de poder computacional. Recentemente, a Comissão Europeia investiu 8 bilhões de euros (6,9 bilhões de libras) para criar uma simulação muito detalhada da Terra (com humanos), apelidada de “gémeo digital”, na esperança de enfrentar melhor os atuais desafios sociais e ecológicos.
Na nossa investigação mais recente, mostramos que a procura de modelos cada vez mais complexos como ferramentas para produzir estimativas e previsões mais precisas pode não funcionar. Com base na teoria estatística e em experimentos matemáticos, executamos centenas de milhares de modelos com diferentes configurações e medimos o quão incertas são suas estimativas.
Descobrimos que modelos mais complexos tendem a produzir estimativas mais incertas. Isso ocorre porque novos parâmetros e mecanismos são adicionados. Um novo parâmetro, por exemplo, o efeito da pastilha elástica na propagação de uma doença, precisa de ser medido – e está, portanto, sujeito a erros de medição e incerteza. Os modeladores também podem usar equações diferentes para descrever matematicamente o mesmo fenômeno.
Uma vez integradas no modelo estas novas adições e as incertezas associadas, elas acumulam-se sobre as incertezas já existentes. E as incertezas continuam a aumentar a cada atualização do modelo, tornando o resultado do modelo mais confuso a cada passo do caminho – mesmo que o próprio modelo se torne mais fiel à realidade.
Isso afeta todos os modelos que não possuem dados de validação ou treinamento apropriados para verificar a precisão de seus resultados. Isto inclui modelos globais de alterações climáticas, hidrologia (fluxo de água), produção alimentar e epidemiologia, bem como todos os modelos que prevêem impactos futuros.
Resultados difusos
Em 2009, os engenheiros criaram um algoritmo chamado Google Flu Trends para prever a proporção de consultas médicas relacionadas à gripe nos EUA. Apesar de se basear em 50 milhões de consultas digitadas no Google, o modelo não foi capaz de prever o surto de gripe suína de 2009. Os engenheiros então tornaram o modelo, que não está mais em operação, ainda mais complexo. Mas ainda não era tão preciso. Uma pesquisa liderada pelo psicólogo alemão Gerd Gigerenzer mostrou que o sistema superestimou consistentemente as consultas médicas em 2011-2013, em alguns casos em mais de 50%.
Gigerenzer descobriu que um modelo muito mais simples poderia produzir melhores resultados. Seu modelo previu taxas semanais de gripe com base apenas em um pequeno dado: quantas pessoas haviam consultado seu médico de família na semana anterior.
Outro exemplo são os modelos hidrológicos globais, que rastreiam como e onde a água se move e é armazenada. Começaram de forma simples na década de 1960, com base em “processos de evapotranspiração” (a quantidade de água que poderia evaporar e transpirar de uma paisagem coberta de plantas) e logo foram ampliados, levando em conta os usos de água domésticos, industriais e agrícolas em escala global. O próximo passo para esses modelos é simular a demanda de água na Terra por quilômetro a cada hora.
E ainda assim nos perguntamos se esse detalhe extra não apenas os tornará ainda mais complicados. Mostrámos que as estimativas da quantidade de água utilizada na irrigação produzidas por oito modelos hidrológicos globais podem ser calculadas com apenas um único parâmetro – a extensão da área irrigada.
Caminhos a seguir
Por que o fato de que mais detalhes podem piorar um modelo foi ignorado até agora? Muitos modeladores não submetem seus modelos à análise de incerteza e sensibilidade, métodos que informam aos pesquisadores como as incertezas no modelo afetam a estimativa final. Muitos continuam acrescentando detalhes sem descobrir quais elementos do seu modelo são os maiores responsáveis pela incerteza no resultado.
É preocupante porque os modeladores estão interessados em desenvolver modelos cada vez maiores – na verdade, carreiras inteiras são construídas em modelos complexos. Isto porque são mais difíceis de falsificar: a sua complexidade intimida quem está de fora e complica a compreensão do que se passa dentro do modelo.
Existem soluções, no entanto. Sugerimos garantir que os modelos não fiquem cada vez maiores só por fazer. Mesmo que os cientistas realizem uma análise de incerteza e sensibilidade, as suas estimativas correm o risco de se tornarem tão incertas que se tornarão inúteis para a ciência e a elaboração de políticas. Investir muito dinheiro em computação apenas para executar modelos cuja estimativa é completamente confusa não faz muito sentido.
Em vez disso, os modeladores devem ponderar como a incerteza se expande com cada adição de detalhe ao modelo – e encontrar o melhor equilíbrio entre o nível de detalhe do modelo e a incerteza na estimativa.
Para encontrar esse compromisso, pode-se usar o conceito de “dimensões efetivas” – uma medida do número de parâmetros que adicionam incerteza ao resultado final, levando em consideração como esses parâmetros interagem entre si – que definimos em nosso artigo.
Ao calcular as dimensões efectivas de um modelo após cada atualização, os modeladores podem avaliar se o aumento da incerteza ainda torna o modelo adequado para a política – ou, pelo contrário, se torna o resultado do modelo tão incerto que se torna inútil. Isto aumenta a transparência e ajuda os cientistas a conceber modelos que sirvam melhor a ciência e a sociedade.
Alguns modeladores ainda podem argumentar que a adição de detalhes do modelo pode levar a estimativas mais precisas. O ônus da prova agora recai sobre eles.
Publicado em 05/11/2022 12h55
Artigo original: