Um estudo realizado por pesquisadores da Purdue University, nos Estados Unidos, mostrou que o ChatGPT errou mais da metade de questões de engenharia de software.
A pesquisa “Quem responde melhor?” (“Who Answers It Better?”), feita por Samia Kabir, David Udo-Imeh, Bonan Kou e Tianyi Zhang, analisou as respostas do chatbot da OpenAI sobre 517 perguntas do Stack Overflow, plataforma de perguntas e respostas para profissionais da área de programação.
Conforme relata o The Register, os pesquisadores tinham o objetivo de avaliar a “correção, consistência, abrangência e concisão” das respostas apresentadas pela ferramenta.
Os pesquisadores também realizaram análises linguísticas e de sentimento das respostas, questionando 12 participantes voluntários do estudo sobre os resultados criados pelo chatbot.
Dessas respostas, cerca de 52% foram consideradas imprecisas e três quartos (77%) foram classificadas como “verbose”, termo em inglês para frases desnecessariamente longas, ou seja, prolixo.
Nossa análise mostra que 52 por cento das respostas do ChatGPT estão incorretas e 77 por cento são prolixas. No entanto, as respostas do ChatGPT ainda são preferidas em 39,34% das vezes devido à sua abrangência e estilo de linguagem bem articulado.
Autores do estudo “Quem responde melhor?”
Participantes acreditaram nas respostas do ChatGPT
Mesmo com o ChatGPT apresentando algumas respostas erradas, os participantes acreditaram na resposta da IA. Segundo os pesquisadores, isso acontece porque a ferramenta possui um estilo de escrita agradável e mostra autoridade no que escreve.
A partir de entrevistas semiestruturadas, é evidente que a linguagem educada, respostas articuladas e de estilo de livro de texto, abrangência e afiliação nas respostas fazem com que respostas completamente erradas pareçam corretas.
Autores do estudo.
De acordo com os pesquisadores, os participantes só conseguiram identificar a resposta incorreta, quando a IA mostrava erros óbvios, conforme relatou o ITPro. Quando questionados sobre os motivos de não conseguiram identificar a resposta incorreta, sete dos 12 participantes disseram que as “explicações lógicas e perspicazes, soluções abrangentes e fáceis de ler” feitas pelo bot fizeram acreditar que ela estava correta.
Teste de textos feitos por ChatGPT
E você, sabe identificar respostas do ChatGPT? O Olhar Digital preparou um teste para você determinar qual foi a texto foi gerado pela IA e qual não. Mas fique tranquilo, bem mais simples que o estudo acima, os textos utilizados na matéria são noticiosos e com temas de fácil entendimento. Confira.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Fonte: Olhar Digital
Comentários