Estudo mostra em quais cursos universitários o ChatGPT tira notas melhores que humanos
Robô igualou ou superou médias de alunos em disciplinas de ciência política, engenharia e psicologia, mas se saiu mal em matemática e economia
Cientistas publicaram nesta semana um estudo para avaliar o impacto do ChatGPT no ensino superior. Após uma pesquisa para entender quão disseminado é uso o sistema de inteligência artificial por estudantes, os pesquisadores pediram a professores universitários para dar notas a trabalhos escritos pelo robô. Em diversos cursos, o ChatGPT superou a média dos humanos.
A pesquisa foi realizada por cientistas sociais e especialistas em computação no campus da Universidade de Nova York em Abu Dhabi (Emirados Árabes). Antes de testar a excelência acadêmica do robô, os pesquisadores perguntara a 1.600 alunos em cinco grandes países (Brasil, Índia, Japão, EUA e Reino Unido) se já estavam recorrendo em algum grau ao ChatGPT para completar seus trabalhos.
Em artigo liderado pelo cientista Hazem Ibrahim, o grupo descreveu nesta semana seus resultados na revista Scientific Reports, do grupo Nature. O estudo foi um dos primeiros a abordar a questão de forma sistemática.
Ibrahim e seus colaboradores constataram que 76% dos alunos já estão recorrendo ao ChatGPT para trabalhos universitários, uma parcela que foi subestimada pela maioria dos professores entrevistados na pesquisa. Esse uso do sistema de IA está ocorrendo à revelia dos docentes, dos quais 70% consideram que isso configura plágio.
Na última etapa da pesquisa os cientistas recrutaram professores de 32 disciplinas em oito cursos diferentes da universidade para que estes avaliassem a qualidade dos trabalhos respondidos pelo ChatGPT. Os docentes que se voluntariaram para a pesquisa davam nota às tarefas sem saber se elas tinham sido escritas por humanos (alunos de terceiro ano dos cursos) ou por inteligência artificial.
Em 9 de 32 disciplinas o ChatGP atingiu médias iguais ou superiores às dos alunos. Essas disciplinas estavam espalhadas em seis dos cursos de graduação avaliados: ciência da computação, psicologia, pesquisa social & políticas públicas, engenharia, ciência política e sociedade & organizações empresariais.
Os únicos dois cursos em que os alunos superaram o robô de maneira consistente foram matemática e economia. O resultado não foi uma surpresa, já que a dificuldade do ChatGPT em entender e resolver problemas matemáticos já era conhecida. Em computação, os estudantes se saíram relativamente bem, mas o ChatGPT os superou na disciplina de “estrutura de dados”.
Outras disciplinas em que os humanos se saíram pior que a inteligência artificial foram “biopsicologia” (em psicologia), “programação orientada a objetos” (em computação) e “mudança climática” (em pesquisas sociais). A disciplina em que o computador superou os humanos pela maior margem foi “introdução a políticas públicas” (também no curso de pesquisa social)
Os pesquisadores avaliaram na pesquisa também o desempenho de duas ferramentas online que prometem detectar textos criados com ChaGPT (o GPTZero e o AI Text Classifier). Para decepção dos professores, os cientistas constataram que elas fornecem avaliações erradas em um terço ou metade das vezes, respectivamente.
Toda a pesquisa foi realizada durante os dois meses subsequentes do lançamento público do ChatGPT, que se seguiu de uma onda de adesão de estudantes ao sistema no ensino superior. Os pesquisadores reconhecem, porém, que uma compreensão melhor do impacto do sistema vai requerer que esse tipo de pesquisa seja feita com amostragens maiores e considerem a evolução dos sistemas de IA.
“Nossas descobertas oferecem insights oportunos que podem direcionar discussões sobre reforma educacional na era da inteligência artificial generativa”, escrevem Ibrahim e colegas. “Pesquisas futuras devem examinar tanto os temas apresentados por essa tecnologia quanto a perspectiva do plágio, bem como a oportunidade que essa tecnologia proporciona a estudantes e educadores, dentro e fora da sala de aula.”
Por: O Globo
