O ChatGPT pode ter um conhecimento da área de saúde semelhante ao de um estagiário, residente ou médico recém-formado. Isso é o que revelou um estudo do Mass General Brigham, dos Estados Unidos, que tentou investigar qual o potencial da IA e do modelo de linguagem de apoiarem decisões médicas, desde o atendimento do paciente até o diagnóstico e opções de tratamento.

Como a pesquisa funcionou

Segundo o site Medical Xpress, para realizar o estudo, os pesquisadores enviaram ao ChatGPT 36 casos clínicos completos (desde o primeiro atendimento até o último) e solicitaram que a tecnologia fornecesse um possível diagnóstico com base nas informações dadas, referentes ao gênero, idade e sintomas, além de identificar se o caso era uma emergência ou não.

Depois disso, a IA recebeu mais informações e foi solicitada a tomar decisões de gerenciamento e fornecer um diagnóstico final. Ou seja, durante o processo, ela passou pelas etapas de um atendimento real.

IA na medicina
Pesquisa mostra como IA não poderá substituir médicos (Imagem: Andrey_Popov/Shutterstock)

ChatGPT se saiu bem

A equipe comparou as respostas do ChatGPT nas diferentes etapas do processo do atendimento e descobriram que ele teve uma precisão geral de 72%.

Contando apenas o diagnóstico final, a precisão foi de 77%. Levando em conta apenas diagnósticos diferenciais (analisar o que aparenta ser um diagnóstico do que realmente é), a precisão foi de 60% e, em gerenciamento clínico (como indicar quais medicamentos devem ser ministrados), 68%.

Não existem referências reais, mas estimamos que esse desempenho esteja no nível de alguém que acabou de se formar na faculdade de medicina, como um estagiário ou residente. Isso nos diz que os modelos de linguagem de IA no geral têm o potencial de ser uma ferramenta de aumento para a prática da medicina e apoiar a tomada de decisão clínica com precisão impressionante.

Marc Succi, autor do artigo e presidente associado em inovação e comercialização estratégica no Mass General Brigham

ChatGPT
Apesar de não se sair perfeitamente, ChatGPT teve um desempenho satisfatório em algumas etapas do atendimento médico (Imagem: Amir Sajjad / Shutterstock)

O que o desempenho do ChatGPT na medicina significa?