Por que um resultado significativo pode não importar e um não significativo não prova nada
Aldemar Araujo Castro
Criação: 13/09/2026
Atualização: 13/09/2026
Palavras: 1519
Tempo de leitura: 8 minutos
Peneira na mão
o cascalho fica preso
resta pouco ouro
Resumo. Este texto recupera o significado preciso do valor de p e examina os dois erros simétricos que dele derivam na pesquisa em saúde: concluir que existe efeito relevante porque o resultado foi estatisticamente significativo, e concluir que não existe efeito porque não foi. Apresenta o intervalo de confiança como chave de leitura de resultados não significativos, discute a diferença mínima clinicamente importante como critério de relevância, e expõe o debate metodológico aberto desde 2016 sobre o uso de limiares de significância, encerrando com recomendações práticas de relato de resultados.
Introdução
Em uma banca de qualificação, o candidato projeta a tabela de resultados e anuncia que a intervenção foi eficaz porque o valor de p ficou em 0,03. Um dos examinadores pergunta qual foi a diferença observada entre os grupos. Segue-se um silêncio, o candidato procura o número na planilha, encontra uma diferença média de meio ponto em uma escala de dez, e a pergunta seguinte é inevitável: meio ponto nessa escala significa alguma coisa para o paciente?
A cena se repete com frequência desconfortável, e não por incompetência de quem a protagoniza. Ela decorre de um hábito coletivo de leitura, consolidado por décadas de ensino, segundo o qual o valor de p funcionaria como veredito automático sobre a existência de um efeito, dispensando qualquer consideração ulterior sobre sua magnitude. O limiar convencional de 0,05, escolhido por conveniência histórica e não por fundamento teórico, converteu-se em linha divisória entre o que conta e o que não conta.
Este texto retoma o que o valor de p efetivamente mede, examina os dois erros simétricos que dele derivam, mostra por que magnitude e relevância clínica são perguntas distintas da pergunta estatística, e apresenta o estado atual do debate sobre o uso da significância, que permanece aberto na literatura metodológica.
O que o valor de p mede, e o que ele não mede
O valor de p é uma probabilidade condicional com condição bastante específica. Ele indica a probabilidade de se obterem dados ao menos tão extremos quanto os observados, supondo verdadeiro o modelo estatístico completo que inclui a hipótese nula, isto é, supondo que não exista o efeito investigado e que todas as demais premissas do modelo estejam corretas. A condição, portanto, não é apenas a ausência de efeito: é a ausência de efeito acrescida da correção do delineamento, da aleatorização, da ausência de viés de seleção e de todas as suposições distribucionais envolvidas.
Dessa formulação decorrem, por negação, as interpretações mais comuns e mais equivocadas. Um valor de p de 0,03 não significa que exista probabilidade de três por cento de a hipótese nula ser verdadeira, porque a probabilidade calculada é a dos dados condicionada à hipótese, e não a da hipótese condicionada aos dados. Tampouco significa que a hipótese alternativa tenha noventa e sete por cento de probabilidade de ser verdadeira. O valor de p também não mede o tamanho do efeito, não indica a importância prática do achado, e um valor maior que 0,05 não demonstra que os grupos sejam iguais. O levantamento mais completo sobre o assunto cataloga vinte e cinco interpretações equivocadas correntes de valores de p, intervalos de confiança e poder estatístico, muitas delas presentes em livros-texto de ampla circulação (Greenland et al., 2016).
Há ainda um ponto que costuma passar despercebido e que decorre diretamente da definição. Como a condição inclui todas as premissas do modelo, um valor de p pequeno indica incompatibilidade entre os dados e o conjunto inteiro de suposições, e não necessariamente a existência do efeito. Viés de aferição, perda diferencial de seguimento ou violação de premissa distribucional produzem valores de p pequenos exatamente como produziria um efeito real.
Ausência de evidência não é evidência de ausência
O segundo erro é o espelho do primeiro, e provavelmente mais danoso na prática clínica. Diante de um valor de p de 0,20, o autor conclui que a intervenção não funciona, ou que os grupos são equivalentes. A formulação clássica dessa confusão, e ainda a mais citada, adverte que a ausência de evidência de efeito não constitui evidência de ausência de efeito (Altman e Bland, 1995). Um estudo pequeno, com poder estatístico insuficiente, é perfeitamente capaz de não detectar um efeito que existe e que é clinicamente importante.
A chave de leitura para esses casos é o intervalo de confiança, não o valor de p. Considere um ensaio que compare duas coberturas para úlcera venosa e relate diferença de dez por cento na proporção de cicatrização completa, com intervalo de confiança de noventa e cinco por cento que vá de menos três por cento a vinte e três por cento, e valor de p de 0,12. Dizer que a intervenção não funcionou é interpretação incorreta, pois o intervalo é compatível com um benefício de vinte e três pontos percentuais, magnitude que qualquer angiologista consideraria expressiva. O estudo não demonstrou ausência de efeito: ele foi incapaz de decidir a questão, o que é situação diferente e exige conclusão diferente.
Demonstrar equivalência ou não inferioridade exige delineamento próprio, com margem definida antes da coleta e cálculo amostral compatível. Interpretar um ensaio de superioridade malsucedido como prova de equivalência é erro de raciocínio, não apenas de redação.
Meio ponto na escala: quando o significativo é irrelevante
O erro inverso aparece com amostras grandes. Como o valor de p depende conjuntamente da magnitude do efeito e do tamanho da amostra, qualquer diferença não nula, por menor que seja, torna-se estatisticamente significativa se a amostra for suficientemente grande. Em um registro com dez mil pacientes, uma diferença de meio milímetro na redução do diâmetro de uma lesão pode produzir valor de p inferior a 0,001 e não ter qualquer consequência para a conduta.
A pergunta que resolve esse impasse não é estatística, é clínica, e se formula em termos de diferença mínima clinicamente importante, isto é, a menor variação no desfecho que o paciente percebe como benefício ou que justifica mudança de conduta. Esse parâmetro não se extrai dos dados do próprio estudo: ele provém de pesquisa prévia com pacientes, de consenso de especialistas ou de estudos de ancoragem, e precisa ser declarado antes da análise. Um ensaio sobre cicatrização de úlcera venosa cuja diferença mínima clinicamente importante esteja estabelecida em vinte por cento na taxa de cicatrização em doze semanas não se torna relevante por relatar diferença de três por cento com valor de p pequeno.
Daí a formulação que dá título a este texto. Significância estatística responde à pergunta sobre a compatibilidade dos dados com um modelo que supõe ausência de efeito. Relevância clínica responde à pergunta sobre o que a magnitude estimada significa para quem é tratado. São perguntas distintas, respondidas por instrumentos distintos, e nenhuma delas substitui a outra.
O debate depois de 2016 e o que relatar
A comunidade estatística tornou explícito o problema em documento institucional que enunciou seis princípios sobre valores de p, entre os quais o de que um valor de p não mede a probabilidade de a hipótese estudada ser verdadeira nem a importância de um resultado, e o de que conclusões científicas não deveriam basear-se apenas em o valor de p ultrapassar ou não determinado limiar (Wasserstein e Lazar, 2016). O documento foi notável menos pelo conteúdo técnico, conhecido há décadas, e mais pelo fato de a principal associação de estatística ter julgado necessário publicá-lo.
O desdobramento posterior foi mais ambicioso e permanece controverso. Uma edição inteira de periódico dedicada ao tema recomendou o abandono da expressão estatisticamente significativo e propôs deslocar o foco para a estimativa do efeito e sua incerteza, com posições que variam desde a supressão completa de limiares até sua redefinição para valores mais estritos (Wasserstein et al., 2019). Manifesto assinado por grande número de pesquisadores defendeu, na mesma linha, o fim da dicotomização e argumentou que a categorização de resultados em significativos e não significativos produz conclusões contraditórias a partir de estudos cujos intervalos de confiança são amplamente compatíveis entre si (Amrhein et al., 2019).
Convém registrar que a questão não está encerrada. Há objeção consistente de que a supressão de limiares, sem substituto explícito, transfere a decisão para julgamento informal e pode ampliar a arbitrariedade na interpretação, especialmente em contextos regulatórios que precisam de critério decisório prévio. Apresentar o tema como disputa em curso, e não como consenso adquirido, é a postura mais fiel ao estado atual da literatura.
Para a prática, três recomendações reúnem o que há de menos controverso. Relate a estimativa pontual do efeito acompanhada do intervalo de confiança, em unidades interpretáveis clinicamente, e não apenas o valor de p. Declare antes da análise a diferença mínima clinicamente importante e interprete o intervalo em relação a ela. Evite a linguagem dicotômica: em lugar de afirmar que houve ou não houve efeito, descreva a magnitude estimada, a precisão da estimativa e as conclusões que o intervalo torna compatíveis ou incompatíveis.
Considerações finais
Nada do que foi exposto implica abandonar o teste de hipóteses ou tratar o valor de p como artefato inútil. Ele permanece informação relevante sobre a compatibilidade entre dados e modelo, e continuará presente nos artigos que lemos e escrevemos. O que se propõe é devolvê-lo à sua dimensão própria, que é a de um entre vários elementos de julgamento, e não a de veredito que dispensa o restante da análise.
A mudança de hábito exige do pesquisador algo mais trabalhoso do que consultar um limiar: exige que ele diga qual diferença considera importante, que justifique essa escolha antes de ver os dados e que interprete seus resultados diante dessa referência declarada. É um exercício de compromisso intelectual, porque obriga a assumir uma posição clínica antes de conhecer o resultado estatístico, e não depois. Quem o faz descobre que a pergunta mais difícil de um projeto de pesquisa raramente é qual teste aplicar, e quase sempre é quanto de diferença justifica mudar a conduta diante do paciente.
Fontes
[1]. Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. Am Stat. 2016;70(2):129-33.
DOI: https://doi.org/10.1080/00031305.2016.1154108
Disponível em: https://doi.org/10.1080/00031305.2016.1154108
Comentário: declaração institucional da American Statistical Association com seis princípios sobre o uso e a interpretação de valores de p. Fundamenta a seção final do texto e é o documento de referência para quem precise justificar, em banca ou em revisão, por que a decisão científica não pode repousar apenas sobre um limiar.
[2]. Greenland S, Senn SJ, Rothman KJ, Carlin JB, Poole C, Goodman SN, et al. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. Eur J Epidemiol. 2016;31(4):337-50.
DOI: https://doi.org/10.1007/s10654-016-0149-3
Disponível em: https://doi.org/10.1007/s10654-016-0149-3
Comentário: catálogo comentado de vinte e cinco interpretações equivocadas de testes estatísticos, valores de p, intervalos de confiança e poder. Sustenta a primeira seção deste texto e funciona como material didático de consulta permanente, item por item, para orientadores e orientandos.
[3]. Altman DG, Bland JM. Statistics notes: absence of evidence is not evidence of absence. BMJ. 1995;311(7003):485.
DOI: https://doi.org/10.1136/bmj.311.7003.485
Disponível em: https://doi.org/10.1136/bmj.311.7003.485
Comentário: nota breve e clássica que estabeleceu a formulação mais citada sobre a leitura de resultados não significativos. Fundamenta a segunda seção do texto e demonstra que clareza conceitual não exige extensão, pois o argumento inteiro cabe em uma página.
[4]. Wasserstein RL, Schirm AL, Lazar NA. Moving to a world beyond “p < 0.05”. Am Stat. 2019;73(sup1):1-19.
DOI: https://doi.org/10.1080/00031305.2019.1583913
Disponível em: https://doi.org/10.1080/00031305.2019.1583913
Comentário: editorial que abre edição especial dedicada às alternativas ao uso dicotômico da significância, com recomendação de abandono da expressão estatisticamente significativo. Fundamenta a exposição do debate e permite ao leitor conhecer o espectro de posições em disputa, inclusive as divergentes entre si.
[5]. Amrhein V, Greenland S, McShane B. Scientists rise up against statistical significance. Nature. 2019;567(7748):305-7.
DOI: https://doi.org/10.1038/d41586-019-00857-9
Disponível em: https://doi.org/10.1038/d41586-019-00857-9
Comentário: comentário que reuniu apoio de grande número de pesquisadores contra a dicotomização de resultados e ilustra como estudos com intervalos de confiança compatíveis podem gerar conclusões opostas. Sustenta a discussão da seção final e é leitura acessível para quem se inicia no tema.
Pontos para Recordar
- O valor de p é a probabilidade de obter dados ao menos tão extremos quanto os observados supondo verdadeiro o modelo estatístico que inclui a hipótese nula, e não a probabilidade de a hipótese nula ser verdadeira.
- Um valor de p pequeno indica incompatibilidade entre os dados e o conjunto completo de premissas do modelo, o que inclui viés e violação de suposições, e não apenas a existência do efeito.
- Ausência de significância estatística não demonstra ausência de efeito, sobretudo quando o poder estatístico é insuficiente.
- O intervalo de confiança é a chave de leitura de um resultado não significativo, pois mostra quais magnitudes de efeito permanecem compatíveis com os dados.
- Demonstrar equivalência ou não inferioridade exige delineamento próprio, com margem declarada previamente, e não decorre de um ensaio de superioridade malsucedido.
- Como o valor de p depende também do tamanho da amostra, qualquer diferença não nula se torna estatisticamente significativa em amostras suficientemente grandes.
- A diferença mínima clinicamente importante deve ser declarada antes da análise e serve como referência para julgar a relevância da magnitude estimada.
Declaração de uso de Inteligência Artificial Generativa
Este texto foi produzido com o auxílio de Claude, desenvolvida pela Anthropic, utilizado como ferramenta de apoio nas fases de brainstorming, de estruturação do conteúdo e de produção do texto. A responsabilidade pela versão final e precisão das informações, pelo pensamento crítico, pela seleção das fontes e pelo conteúdo publicado é integralmente do autor.