Connect with us

Brasil

Intervalos (interrompidos) de confiança

A relutância em divulgar os dados criou ainda uma situação que levantou questionamentos. A ANVISA, após a submissão dos dados, solicitou novas informações, referentes aos protocolos aplicados e informações dos voluntários.

Julio Ponce

Published

on

scientist in laboratory

Na ultima semana, tivemos os promissores resultados da CoronaVac, tornados públicos em coletiva do Instituto Butantan, com a presença de autoridades. A instituição centenária, criada por Rodrigues Alves quando era presidente do Estado de São Paulo (e, antes de tomar posse pela segunda vez como presidente do país iria morrer na pandemia de gripe de 1918), através de cooperação com a empresa de biotecnologia chinesa Sinovac Life Sciences, tornou público os resultados de proteção de 78% de casos leves e 100% de casos graves nos testes de fase III realizados. Parece um excelente resultado (e é).

Mas a forma de divulgação tem sido criticada, com razão. Pesquisadores e cientistas, especialmente aqueles que têm se dedicado durante essa pandemia para divulgar e esclarecer informações científicas a um público majoritariamente leigo, foram às redes expressar suas reservas quanto à apresentação do último dia 7.

Sabine Righetti, professora e pesquisadora da UNICAMP, escreveu um excelente texto em que apontava a ausência de dados brutos. “No caso da CoronaVac”, ela escreve no texto, ”os 100% de eficácia da vacina para os casos graves viraram a principal informação divulgada pelo governo. E novamente: de quantos casos graves estamos falando? Um ou dois?”. Por fim, pontua “se perdemos a capacidade de criticar a falta de transparência da divulgação da eficácia de uma vacina sob o risco de ser tachado de partidário, então estamos todos correndo risco”.

Natalia Pasternak, pesquisadora da USP e presidente do Instituto Questão de Ciência, e Denise Garrett, médica epidemiologista e vice-presidente do Sabin Vaccine Institute, em um texto que é uma verdadeira masterclass sobre vacinas explicam o estado atual do que sabemos sobre as vacinas – tanto as que já foram aprovadas, quanto aquelas que ainda estão em testes- e criticam a “falta de um relatório, ou até mesmo um comunicado à imprensa, detalhando esses resultados”. O mesmo questionamento foi feito pela repórter do Estadão Fabiana Cambricoli, durante a coletiva. Recebeu números aproximados, sem maiores detalhamentos, e a informação de que isso não seria discutido mais minuciosamente naquela coletiva.

Fabiana Mariz e Luiza Caires, no Jornal da USP, explicam melhor o que houve com o número reportado na coletiva: era a comparação utilizando um índice da OMS, de pacientes assintomáticos e sintomáticos sem necessidade de suporte médico, contra sintomáticos que precisaram de auxílio dos profissionais de saúde.

Adendo: notem que mencionei até agora apenas jornalistas e pesquisadoras mulheres. Não é viés de seleção. Elas têm tomado a dianteira e liderado, com maestria, a discussão científica no Brasil acerca da Covid-19, dos tratamentos ineficazes e da importância das vacinas. Infelizmente, não são poupadas da misoginia em ataques nas mídias sociais.

As críticas aos questionamentos logo vieram. “Há que se entender que o ‘outro lado’ vai usar qualquer argumento para refutar a vacina”, disse um ao colocar as críticas ao anúncio como munição para os negacionistas. “Por likes, destroem a reputação de cientistas brasileiros”, disse outra. Mas as críticas, fundamentais, ressaltavam a importância da vacina, e a confiança no Butantan, não deixando, contudo, de exigir o que sempre se exigiu na boa ciência: a possibilidade de escrutínio dos pares.

Vejam bem: um trabalho científico, ao ser submetido a uma revista, é distribuído (frequentemente sem a identificação dos autores) a revisores independentes, cuja responsabilidade é, basicamente, apontar as falhas do estudo. Isso é saudável. Garante que, em sua maioria, o que é publicado tenha qualidade, impacto, relevância e respeito ao método científico. Que se exija o mesmo de uma vacina é natural.
Passado o desconforto original, o infectologista e professor da Faculdade de Medicina da USP, Esper Kallas esclareceu que, de fato, a eficácia de 78% era referente a um recorte da população analisada nos testes da vacina e que não corresponderia à eficácia global.

Nesse caso, como a vacina tinha como objetivo primário evitar a infecção, a mensuração que se esperava era quantos casos de infectados tivemos no grupo placebo e no grupo vacinal, e quantos participaram de cada grupo. Este é o que chamamos de desfecho primário, e é que foi atingido com 95% de eficácia pela vacina da Pfizer/BioNTech.

Diminuição de internações, proteção em casos leves e casos graves, são os chamados desfechos secundários. Importantes, sim, pela redução do impacto no sistema de saúde, reduzindo lotação em UTIs e possivelmente sequelas da infecção, mas que não podem ser tomados como o desfecho principal se não era esse o objetivo inicial da vacina.

A relutância em divulgar os dados criou ainda uma situação que levantou questionamentos. A ANVISA, após a submissão dos dados, solicitou novas informações, referentes aos protocolos aplicados e informações dos voluntários. O Butantan relatou ter se espantado com as exigências, que já estariam no documento original. Infelizmente, pela ausência da divulgação pública dos mesmos, não podemos, sem uma dose de imaginação, apontar quem estaria errado. De 29 itens necessários, em 11,8% falta documentação, em 15,5% as respostas foram insuficientes e há necessidade de complementação em outros 32,3%.

“Ah, mas já divulgaram uma porcentagem, e falaram os números aproximados, já não basta?”. Não, não basta.

Vamos a uma curta, e espero que esclarecedora, analogia que espero que ajude a entender a discussão sobre os números brutos. Vamos supor que Diego Maradona, nos idos dos anos 90, tenha me convidado para um amistoso desafio de chutes ao gol. Sem goleiro, sem poder pedir para outra pessoa chutar e sem La mano de Dios.

Suponhamos que façamos, cada um, 10 chutes a gol. Eu, famoso apenas por jogar bolinhas de gude no tapete de casa, faço 6. Dieguito, apenas 4. Pode ser que aquele dia eu tenha feito mais aquecimento, estava com minha perna afiada na mira; pode ser que Diego tenha comido um alfajor de dulce de leche que não lhe desceu bem. Pode ser, talvez, que eu realmente seja um craque de futebol melhor do que ele (o que deixaria minha mãe orgulhosa do retorno do investimento de me colocar duas semanas na escolinha de futebol).

Eu acertei 60%. Maradona, responsável pela conquista da Copa do Mundo de 86 para nossos vizinhos argentinos, apenas 40%. Oras, eu acertei 50% a mais que Diego. Lógico que sou melhor, não é? Não é!
O importante aqui não é essa porcentagem, mas o que ela representa. Entra aqui também uma ideia de intervalo de confiança, que costuma ser de 95%.

Trocando em miúdos, é o intervalo no qual, se eu repetir 100 vezes um experimento, em 95 das vezes estará o meu resultado nessa faixa. Para os 10 chutes a gol, eu acertando 4 quer dizer que 95% das vezes eu teria acertado entre 2 e 7 (arredondando os números); Maradona, com seus 6, entre 3 e 8. Vejam: Há uma grande probabilidade de termos empatados na maior parte dessas repetições dos experimentos; há também uma probabilidade de Maradona ter acertado mais do que eu. Ou seja: com esse tamanho de população, não consigo saber, efetivamente, quem é melhor.

Vamos agora supor que eu e Diego somos máquinas incansáveis do futebol e conseguimos chutar 1000 vezes ao gol, sem perder o fôlego. Mas agora os resultados são invertidos. O futebolista argentino acerta 60% (600 gols); eu, em um recorde de carreira, 400. Se fizermos 100 vezes esse experimento, em 95% o camisa 10 fará entre 570 e 630 gols; eu, com sorte, 430, com limite mínimo de 370. Quase não há sobreposição entre as curvas. Dez entre dez comentaristas diriam que Maradona é melhor do que eu (cem entre cem leitores acredito que diriam algo semelhante, mesmo que na ausência de dados).

Ou seja, para que olhemos os dados com escrutínio, porcentagens não bastam, afirmações não são o suficiente. O acesso aos dados brutos permite a conferência das contas. É como disse nas redes o Cientista de Dados e Coordenador da Rede Análise Covid-19 Isaac Schrarstzhaupt, de quem empresta a analogia: é como se soubéssemos que o aluno acertou a questão, mas quiséssemos ver o desenvolvimento da resposta, para podermos melhor avaliar o raciocínio.

Finalizo essa coluna com uma máxima, atribuída ao estatístico W. Edwards Deming “In God we trust, all others must bring data.” (Em Deus nós confiamos, todos os outros precisam trazer dados).

Aproveitando o ensejo….
Aqui na Fonte BR, trabalhamos muito para entregar para vocês informações de qualidade amparadas unicamente na realidade dos fatos. Que tal apoiar o jornalismo independente que fazemos para você?
Clique aqui e seja um assinante. Fortaleça o bom jornalismo.

bacharel em Ciências Moleculares e Farmácia Bioquímica, mestre em Fisiopatologia Experimental e Doutor em Epidemiologia, todos pela USP.

Continue Reading
1 Comment

1 Comment

  1. Pingback: Não existe cara ou coroa: é 50% de eficácia e 100% de esperança | Fonte [BR] - A embaixada das notícias

Leave a Reply

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Escolha a Fonte!

Que tal apoiar o jornalismo independente que fazemos para você? Seja um assinante. Fortaleça o bom jornalismo. 

X