O Chat GPT faz afirmações falsas e cita estudos inexistentes ou com resultados contrários aos referidos sobre o efeito de máscaras. Para além disso, promove narrativas pouco sustentadas como verdade. Se isto acontece neste tema, o que poderá estar a acontecer noutras áreas ainda menos claras?
Muitos têm alertado para os perigos dos avanços da inteligência artificial. Elon Musk, recentemente, alertou mesmo que “estão a treinar a Inteligência artificial para mentir”.
Decidimos então questionar o Chat GPT sobre uma das grandes questões levantadas durante a pandemia, a eficácia do uso de máscaras contra vírus respiratórios. O resultado dessa interação é surpreendente e inquietante.
Perguntámos então por RCTs que indiquem essa eficácia e se a maioria desses estudos (os únicos capazes de aferir causalidade) apontavam nesse sentido.
A resposta foi que sim e que “As evidências dos RCTs sugerem que as máscaras faciais, cirúrgicas e de pano, podem ajudar a reduzir a propagação de vírus respiratórios”.
No entanto, apenas nos indica uma meta-análise que teria 33 RCTs e um estudo observacional.
Perguntámos então pelas referências desse estudo com os 33 RCTs.
A resposta é surpreendente. Depois de ter sido afirmado que “as evidências dos RCTs sugerem que as máscaras faciais, cirúrgicas e de pano, podem ajudar a reduzir a propagação de vírus respiratórios” indica-nos apenas um estudo (revisão sistemática) que apenas contém estudos observacionais e não tem um único RCT. Um estudo que a própria OMS reconheceu ser de baixo nível de evidência.
Por isso, salientámos o facto de nos ter sido dada uma resposta falsa e apresentado um estudo de fraca qualidade (em vez dos prometidos RCTs).
O Chat GPT reconheceu o erro. Mas, em vez de apontar novos estudos de qualidade, alegou questões éticas e práticas, nomeadamente durante a pandemia. De salientar que há muitas décadas que se realizam RCTs sobre máscaras e que a própria OMS tinha publicado uma revisão sistemática, em maio de 2020, com dez RCTs. Porque não foi citada esta revisão ou outros estudos anteriores?
Também foram efetuados outros RCTs durante a pandemia que nesta resposta foram ignorados.
Voltei a fazer as perguntas por responder (com dados verdadeiros):
– Há alguma evidência de que as máscaras ajudem a reduzir a transmissão de vírus respiratórios vinda de RCTs (o único nível de evidência que pode inferir causalidade)?
– O que a maioria desses estudos (RCTs) nos diz sobre máscaras?
Apesar de evitar responder diretamente a ambas as questões reconhece que é difícil tirar conclusões definitivas baseado em RCTs. Isto, apesar de existirem muitos e na sua generalidade apontarem para não terem efeitos estatisticamente significativos. O único RCT com máscaras de pano (em ambiente hospitalar) sugere mesmo um aumento de infeções.
No seguimento da discussão referimos de novo que foram realizados muitos RCTs antes e, alguns durante a pandemia e perguntámos pelos seus resultados gerais?
Na resposta, refere dois estudos: o dinamarquês (RCT), que não encontrou efeitos significativos, e do Bangladesh (Clusters RCT) que encontrou efeitos modestos globais (e apenas nas cirúrgicas e acima de 55 anos).
Surpreendentemente, apenas refere que existiram críticas ao primeiro. De referir que o estudo do Bangladesh, entre muitas outras limitações apontadas, não conseguiu isolar variáveis dado que o uso de máscaras foi acompanhado por um conjunto de outras intervenções.
Mas além disso, e mais importante, foram referidas duas supostas revisões com RCTs, com resultados positivos (a segunda com efeitos enormes).
Perguntámos pelas referências dessas revisões. Começámos pela dos 25 RCTs.
Ora, a referência que nos foi dada indicava exatamente o contrário do que foi dito. Não foi encontrada qualquer redução das infeções.
Além disso, é respondido agora não ter “nenhuma evidência que sugira uma redução do risco de infeção em até 79% ou 52% para máscaras” ao contrário do que foi antes afirmado.
Perguntámos então pela segunda revisão que nos foi apresentada. Também ela conclui o contrário do que nos foi dito:
“A revisão descobriu que o uso de máscaras pode fazer pouca ou nenhuma diferença na prevenção da transmissão de doenças semelhantes à gripe (…)”
Afirmam ainda que “não encontrou nenhum estudo que analisasse especificamente a eficácia das máscaras na prevenção da transmissão da COVID-19”. Isto quando, a atual revisão já inclui estudos com a covid-19.
Por algum motivo essa revisão sistemática atualizada da Cochrane, considerada o gold standard da evidência médica, nunca foi citada ao longo de toda a conversa.
O que podemos concluir?
O resultado desta interação é preocupante. Mostra-nos que (também) o Chat GPT pode estar a ser usado para impor narrativas e espalhar mentiras em prol de interesses particulares. Vários outros utilizadores têm alertado para inúmeras distorções e falsidades nas respostas dadas.
A não ser que acreditemos que um sistema tão avançado cometa erros sistemáticos no mesmo sentido por coincidência, temos de concluir que o sistema está enviesado.
Se isto pode acontecer sobre um assunto em que existem dados objetivos, publicados e de fácil acesso, imaginemos sobre outros assuntos menos claros. Os perigos são evidentes.
