A ascensão da inteligência artificial (IA) sofisticada tem impactado diversas indústrias, desde entretenimento até medicina, e a pesquisa científica não é exceção.
Agências de financiamento já estão adotando medidas rigorosas contra o uso de IAs geradoras de texto, como o ChatGPT, para revisão por pares, citando a inconsistência das análises produzidas por esses algoritmos, a opacidade de seus modelos de treinamento e outras preocupações.
A resposta é não, mas o que ele pode ser?
No ano passado, na primavera, o John disse algo perspicaz sobre como as pessoas poderiam usar os LLMs como parte de seu fluxo de trabalho científico, e eu disse: ‘bem, devemos começar a coletar informações sobre como isso acontece e descobrir quais serão as normas e padrões para como os usamos’.
Ryan Watkins
O potencial dos grandes modelos de linguagem
Os LLMs são treinados em conjuntos massivos de dados para reconhecer padrões, como as relações prováveis entre certas palavras, a probabilidade de que determinados agrupamentos de palavras estejam relacionados a assuntos específicos, e usam as probabilidades geradas a partir desses padrões para prever respostas a consultas feitas pelo usuário.
Esses algoritmos preveem não apenas quais palavras e frases usar, mas também a sequência em que essas palavras e frases devem seguir umas às outras, resultando em respostas “semelhantes às humanas”.
O ChatGPT-3, que chegou em 2022 fazendo barulho, foi treinado com mais de 570 GB de dados, o equivalente a 300 bilhões de palavras. Desde o início de sua colaboração como orientadores de professores do GW Coders, Helveston e Watkins perceberam que o potencial dos LLMs ia além da simples regurgitação de dados.
Na verdade, esses programas poderiam economizar enormes quantidades de tempo e energia nas partes do trabalho de um cientista que não exigem criatividade humana ou colaboração: linguagem padrão, esboços de propostas de financiamento, produção de “dados virtuais” nos quais uma ferramenta analítica pode ser treinada e muito mais.
A atuação do LLMs in Science
Os recursos disponíveis no “LLMs in Science” incluem, entre outras coisas:
Esses conhecimentos são essenciais não apenas para a replicabilidade de estudos científicos que usam LLMs, mas também para avaliar corretamente quando essas ferramentas devem ou não devem ser usadas.
Ainda assim, eles têm limitações significativas, como Helveston demonstrou no primeiro dia de sua aula de programação no ano passado, ao abrir o ChatGPT e deixá-lo operar ao vivo para seus alunos. Helveston primeiro pediu ao algoritmo para traduzir uma frase para o russo, algo como “Bem-vindos à aula e vamos ter um bom semestre.”
Ele perguntou a seus alunos: Alguém de vocês fala russo? Não? Bem, vocês leriam essa frase em voz alta para um falante de russo? Se o fizessem, teriam absoluta confiança em sua precisão? A resposta era óbvia para quem conhece as imperfeições da tradução automática: provavelmente não.
Helveston então pediu ao ChatGPT para escrever uma função de computador com certos atributos que produziriam resultados específicos. Ele perguntou a seus alunos novamente: eles confiariam que esse código faria o que deveria? Eles não confiariam.
Esse é o ponto desta aula, disse Helveston — assim como uma aula de russo os ensinaria a identificar erros em uma tradução ruim, esta aula de programação os ensinaria a ler a linguagem na qual os programas são escritos e a identificar erros.
A ferramenta não é útil se você não conhece a linguagem, e [os alunos estão] aqui para aprender a linguagem.
John Paul Helveston
ChatGPT e problemas acadêmicos
Educadores têm levantado preocupações compreensíveis sobre o ChatGPT, que alguns acreditam poder aumentar a desonestidade acadêmica. No entanto, Helveston e Watkins afirmam que, em sua experiência, se os alunos forem ensinados a como e quando usar LLMs como ferramentas de aprendizado, eles podem realmente aprender melhor.
Quantitativamente, Helveston afirmou que seus alunos tiveram um desempenho melhor em um exame de programação escrito à mão no semestre em que ele introduziu o ChatGPT como uma ferramenta de ensino do que tiveram nos anos anteriores.
“Acredito que, no mínimo, todo professor precisa ter uma seção em sua ementa sobre IA neste curso e como ela será usada ou não”, disse Watkins. “Isso vai variar entre diferentes aulas e preferências dos professores, mas como corpo docente, temos que abordar isso com nossos alunos, e não consigo pensar em um único curso em que isso não seja relevante.”
“O que ainda não sabemos é se isso mudará a forma como os alunos aprendem”, disse Helveston. “Queremos ensinar os alunos a usar essas ferramentas, porque [a IA é] o futuro de como certas tarefas serão realizadas. Mas também queremos que eles saibam como questionar os resultados.”
Já assistiu aos nossos novos vídeos no YouTube? Inscreva-se no nosso canal!
Fonte: Olhar Digital
Comentários