O valor do P estatístico está mudando?

“Inferência estatística não é o mesmo que inferência científica” (Hubbard, Haig, and Parsa 2019; Ziliak 2019).

O que você faz quando tenta decidir se o seu tratamento é eficaz? No seu estudo de pesquisa, existem dois grupos (ou mais), em que um grupo (ou o grupo experimental) de indivíduos recebe tratamento específico para uma condição e o outro grupo não. O grupo controle recebe um placebo ou “tratamento padrão estabelecido”. Em seguida, você coleta os seus dados experimentais e do controle e faz a análise estatística para provar que seu tratamento é mais eficaz comparado ao seu grupo controle. E isso é decidido pelo valor de p e denominado “estatisticamente significativo”. Nem todo sujeito (pode ser planta, animal etc.) reagirá da mesma maneira ao tratamento, e nunca se pode ter 100% de certeza de um efeito. É aqui que o valor p entra.

Os cientistas decidiram que, se o valor fosse menor que 0,05 (p <0,05), os resultados seriam “estatisticamente significativos”. Cientistas de todo o mundo calcularam o valor p. O valor p era o padrão ouro. Foi citado em quase todos os jornais e conferências.

Não use ou confie em “estatisticamente significativo” o tempo inteiro – A Associação Estatística Americana (ASA), muito recentemente, sugeriu aos pesquisadores que eles deveriam usar o “valor-p” com cautela. Eles estão oferecendo maneiras alternativas de verificar diferenças nos grupos de tratamento. Os estatísticos afirmam que o cálculo da significância estatística não “prova” a hipótese nula. Além disso, o valor p resultou em muitas conclusões falsas na literatura. Por exemplo, dois estudos analisando o mesmo efeito colateral de um medicamento anti-inflamatório chegaram a duas conclusões diferentes. Um artigo alegou que os medicamentos não causavam fibrilação atrial em pacientes (valor de p = 0,091) e outro grupo descobriu que sim (valor de p = 0,0003). Ambos os estudos foram apoiados pelo valor-p. Casos como esses diminuem a credibilidade. O valor-p não deveria ser o número mágico que prova que um efeito é reproduzível? Depois, há o ”p-hacking”. Pesquisadores descobriram o seu calcanhar de Aquiles. Eles podem manipular os dados para mudar o valor-p para o resultado desejado. Isso é especialmente relevante para grandes grupos de amostras. Quanto maior o tamanho da amostra, mais dados são coletados e mais provável será atingido o valor p desejado.

Existe espaço para uma “era pós-valor-p”? Nicole Lazar (2019), da Universidade da Geórgia, disse que chegou a hora de usar o “significado estatístico” (veja o link). A crise da reprodutibilidade e a falta de confiança do público podem ser atribuídas em grande parte aos cientistas que abusaram do valor-p. Infelizmente, não existe um número mágico ou um método estatístico que possa ser usado para tomar decisões sobre hipóteses. Ainda podemos quantificar a probabilidade de uma hipótese? Sim.

Como os pesquisadores podem tomar uma decisão quando, às vezes, um tratamento tem efeito e às vezes não? Não é provável que uma hipótese seja correta 100%. Talvez o valor-p precise se aposentar e compartilhar a sua glória com alguns de seus primos estatísticos, incluindo o “intervalo de confiança” ou “medidas bayesianas”.

E o termo “estatisticamente significativo“(veja o link)? Não existe um substituto direto para as palavras “estatisticamente significativo”. A ASA propõe que os cientistas mudem a maneira como comunicam suas observações, incluindo a probabilidade de ocorrência de um efeito. Um desses cálculos estatísticos é o risco falso positivo (RFP). Isso informa ao público o grau de impacto do seu estudo que ocorreu por acaso.

Vamos começar a adotar o intervalo de confiança também…