Uma investigação do BMJ revela que, apesar de conhecerem o problema, a FDA e o CDC mantiveram um método estatístico que mascarava sinais de possíveis efeitos adversos. O elevado número de notificações relativas às vacinas covid Pfizer e Moderna, que passaram a dominar a base de dados, e o facto de serem comparadas maioritariamente entre si ocultou o sinal estatístico e impediu a geração de alertas. A falha tornou-se particularmente evidente no caso da miocardite e da pericardite: entre homens dos 12 aos 24 anos, o VAERS tinha recebido entre 29 e 347 vezes mais notificações do que o CDC esperava com base nas taxas de incidência de referência.
A investigação, publicada a 16 de setembro pelo BMJ, baseia-se em emails governamentais obtidos através da legislação norte-americana de acesso à informação, documentos entregues a investigadores do Senado e entrevistas com responsáveis de saúde e cientistas. Segundo a mesma, documentos internos mostram que responsáveis da FDA conheciam a situação e que responsáveis do CDC foram alertados para o problema durante a campanha de vacinação.
O VAERS, gerido conjuntamente pela Food and Drug Administration (FDA) e pelos Centers for Disease Control and Prevention (CDC), recebe notificações de acontecimentos de saúde ocorridos depois da vacinação. Essas notificações não provam, só por si, que uma vacina tenha causado determinado problema, mas são utilizadas para identificar sinais que justifiquem investigação posterior.
Um método que comparava Pfizer com Moderna
O problema identificado pelo BMJ estava no modo como os dados eram analisados.
Durante o primeiro ano da campanha, mais de 90% dos cerca de 1,1 milhões de relatos recebidos pelo VAERS diziam respeito às vacinas de mRNA da Pfizer e da Moderna. O algoritmo bayesiano utilizado pela FDA procurava acontecimentos reportados com uma frequência anormalmente elevada comparando uma vacina com as restantes vacinas existentes na base de dados.
Nas circunstâncias da pandemia, esta comparação tornou-se problemática. Como praticamente toda a base de dados estava preenchida com notificações relativas às duas vacinas de mRNA, analisar a vacina da Pfizer significava, na prática, compará-la em grande medida com a da Moderna, e vice-versa.
Se ambas provocassem, hipoteticamente, um aumento semelhante de determinado acontecimento adverso, esse acontecimento apareceria aumentado nos dois lados da comparação. A frequência «observada» aproximar-se-ia assim da frequência «esperada» e o algoritmo poderia não gerar qualquer alerta.
Este fenómeno estatístico é conhecido como masking, ou camuflagem.
Não se trata apenas de uma interpretação posterior do BMJ. Ana Szarfman e William DuMouchel, juntamente com outros investigadores, publicaram em 2022 um estudo especificamente sobre este problema, concluindo que a camuflagem podia impedir ou atrasar a deteção de sinais relacionados com as vacinas contra a covid-19 e que métodos estatísticos mais avançados poderiam reduzir essa limitação.
Médica da FDA alertou para o problema
Ana Szarfman, médica da FDA com décadas de experiência em análise de segurança de medicamentos, percebeu o problema ainda no início da campanha.
Trabalhando com William DuMouchel, o estatístico que tinha desenvolvido o próprio algoritmo bayesiano utilizado pela FDA, tentou convencer os responsáveis pela vacinação a adotarem uma abordagem atualizada.
Em fevereiro de 2021, Szarfman escreveu diretamente a Peter Marks, então diretor do Center for Biologics Evaluation and Research da FDA e um dos principais responsáveis pela regulação das vacinas contra a covid-19.
A médica considerava que a agência deveria corrigir urgentemente o problema e propôs uma metodologia mais avançada que conseguia identificar e corrigir fatores de confundimento (confounding) e reduzir a camuflagem dos sinais.
A comparação apresentada internamente era significativa. Numa apresentação interna, Szarfman mostrou lado a lado os resultados de diferentes métodos: uma análise PRR assinalava numerosos sinais, enquanto o método bayesiano utilizado pela FDA identificava praticamente nenhum.
O problema voltaria a ser reconhecido pelos próprios investigadores ligados à FDA e ao CDC. Durante a revisão de um artigo científico, um revisor questionou como poderia a análise ser considerada válida quando mais de 90% das notificações usadas como comparação provinham das próprias vacinas que estavam a ser estudadas.
Os investigadores da FDA concordaram que existia um «considerable bias toward the null», ou seja, um forte enviesamento no sentido de não encontrar um sinal, e a análise acabou por ser retirada do artigo.
FDA mandou parar as análises
Apesar destes alertas, a metodologia proposta por Szarfman não foi adotada.
Em setembro de 2021, a médica voltou a insistir junto dos responsáveis da FDA que o novo método era muito mais eficaz a revelar sinais mascarados.
A resposta interna de Peter Marks é um dos elementos mais relevantes revelados pelo BMJ.
Num email de 15 de setembro, Marks escreveu ao responsável pelo departamento onde Szarfman trabalhava que a médica tinha sido instruída a «cease and desist», ou seja, a parar as análises.
O motivo indicado também ficou registado: Marks receava que a estratégia utilizada por Szarfman pudesse gerar associações erradas que alimentassem a «retórica antivacinação».
Assim, segundo os documentos divulgados pelo BMJ, a decisão de travar o trabalho não foi apresentada exclusivamente como uma discussão técnica sobre qual método estatístico seria superior. A preocupação com o possível impacto das conclusões no debate público sobre as vacinas apareceu expressamente na comunicação do principal regulador das vacinas da FDA.
O BMJ Group resumiu a investigação afirmando que responsáveis norte-americanos suprimiram avisos relacionados com as limitações do algoritmo utilizado na vigilância de segurança.
Sistema não detetou miocardite
As consequências práticas do problema ficaram evidentes com a miocardite.
Em maio de 2021, o VAERS já tinha recebido centenas de notificações de miocardite e pericardite depois da vacinação. O CDC preparava-se para alertar os profissionais de saúde, embora ainda estivesse a investigar se existia uma relação causal.
Peter Marks questionou a iniciativa, invocando precisamente a ausência de um sinal no sistema da FDA. No entanto, em junho de 2021, o CDC apresentou dados mostrando que, entre homens dos 12 aos 24 anos, o VAERS tinha recebido entre 29 e 347 vezes mais notificações de miocardite e pericardite do que seria esperado com base na incidência de referência. No dia anterior à apresentação, o responsável do CDC Tom Shimabukuro tinha recebido a mais recente análise da FDA, que continuava sem gerar qualquer sinal.
Um responsável do CDC chegou a escrever internamente que estava «perplexo» pelo facto de a miocardite não estar a gerar um sinal nas duas vacinas de mRNA.
O mesmo sistema não produziu sinais para pericardite, paralisia de Bell ou tinnitus (zumbido nos ouvidos ou na cabeça), entre outros acontecimentos que posteriormente apareceriam noutros métodos de análise.
CDC encontrou centenas de sinais, mas disse não ter encontrado novos alertas
O plano de vigilância elaborado antes da vacinação previa que o CDC utilizasse também outro método, denominado Proportional Reporting Ratio, ou PRR.
No entanto, segundo a investigação do BMJ, apesar de o plano de vigilância prever análises PRR, o CDC só as executou entre 25 de março e 31 de julho de 2022. Até então, FDA e CDC tinham dependido essencialmente da metodologia bayesiana da FDA.
Quando questionada posteriormente, a então diretora do CDC, Rochelle Walensky, afirmou que as análises PRR não tinham identificado «sinais de segurança inesperados adicionais».
Porém, os resultados examinados pelo BMJ contradizem essa caracterização.
Segundo a investigação, centenas de acontecimentos atingiram os próprios critérios estatísticos definidos pelo CDC para constituírem um sinal. Entre eles estavam miocardite, pericardite, paralisia de Bell e tinnitus, acontecimentos que o algoritmo da FDA não tinha sinalizado.
FDA reconheceu internamente que conhecia a deficiência
A investigação do BMJ encontrou ainda documentação posterior que confirma que a limitação não era desconhecida da agência.
Em outubro de 2023, Narayan Nair, responsável pela farmacovigilância da FDA, reconheceu internamente que a agência já conhecia a deficiência de deteção durante a campanha de vacinação, mais de dois anos antes. A FDA não respondeu ao BMJ sobre este ponto.
William DuMouchel, criador do algoritmo original e participante no desenvolvimento da alternativa proposta por Szarfman, disse ao BMJ que não conseguia explicar a resistência das autoridades à mudança de método e considerou que a decisão tinha sido errada.
Deste modo, a investigação levanta questões importantes não apenas sobre a capacidade do sistema para identificar potenciais problemas de segurança das vacinas, mas também sobre as decisões que levaram as autoridades a manter um método cuja deficiência era conhecida, a rejeitar a alternativa proposta internamente e a continuar a invocar publicamente a ausência de sinais de segurança.
Fontes:
Signaling COVID-19 Vaccine Adverse Events — PubMed
Use of mRNA COVID-19 Vaccine After Reports of Myocarditis — CDC
Carta do CDC sobre as análises PRR
