O ChatGPT realizou o Exame de Licenciamento Médico dos Estados Unidos (USMLE, na sigla em inglês) e teve o resultado de aprovado ou quase aprovado. O teste com o chatbot da OpenAI foi feito num estudo da revista PLOS Digital Health.
Resumo da história
De acordo com os autores da pesquisa, a ferramenta da OpenAI respondeu cerca de 350 das 376 questões. A pontuação ficou entre 52,4% e 75% nas três partes do exame. A nota de aprovação é de 60%.
Esses resultados sugerem que grandes modelos de linguagem podem ter o potencial de auxiliar na educação médica e, potencialmente, na tomada de decisões clínicas
Trecho da nota dos responsáveis pelo estudo
A pesquisa também mostra que o ChatGPT conseguiu superar resultados do PubMedGPT, um modelo de linguagem generativa treinada especialmente para textos médicos, que teve uma pontuação de 50,8% no USML.
Especulamos que o treinamento específico de domínio pode ter criado maior ambivalência no modelo PubMedGPT, pois essa ferramenta absorve o texto do mundo real do discurso acadêmico em andamento que tende a ser inconclusivo, contraditório ou altamente conservador ou evasivo em sua linguagem.
De acordo com o site do USML, o exame avalia a capacidade de um médico de aplicar conhecimentos, conceitos e princípios. A prova conta com diferentes disciplinas médicas, bioquímicas e bioéticas.
Apesar de o chatbot ter sido aprovado no exame, os pesquisadores ressaltam que ele não pode ser comparado com o conhecimento humano.
Isso não sugere remotamente que o ChatGPT tenha conhecimento comparável ao de um humano, já que o teste pode ser um bom preditor de desempenho apenas para quem já tem um MD [graduação de doutor em medicina] e fez residência, ou seja, para uma população muito pré-selecionada. GPT não faria parte disso
Nello Cristianini, professor de Inteligência Artificial da Universidade de Bath.
Com informações de PLOS Digital Health e IFL Science.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Fonte: Olhar Digital
Comentários