Compartilhado por um leitor anônimo Este relatório de Registro:
ChatGPT, o chatbot inovador da OpenAI, produz respostas erradas para questões de programação de software mais da metade do tempo, de acordo com a [pre-print] Estudo da Universidade de Purdue. No entanto, o bot foi convincente o suficiente para enganar um terço dos participantes.
A equipe de Purdue analisou as respostas do ChatGPT a 517 perguntas do Stack Overflow para avaliar a validade, consistência, abrangência e brevidade das respostas do ChatGPT. Os acadêmicos americanos também realizaram uma análise linguística e de sentimento das respostas, questionando dezenas de participantes voluntários sobre os resultados do modelo. A equipe de pesquisa concluiu: “Nossa análise mostra que 52% das respostas do ChatGPT são incorretas e 77% são detalhadas”. No entanto, as respostas do ChatGPT ainda são preferidas em 39,34% das vezes devido à sua abrangência e estilo de linguagem claro. Entre o conjunto de respostas favorito do ChatGPT, 77% estavam errados…
“Durante nosso estudo, notamos que somente quando o erro em uma resposta do ChatGPT é óbvio, os usuários podem identificar o erro”, afirmou o artigo. “No entanto, quando a verificação de erros não pode ser feita facilmente ou requer um IDE externo ou documentação, os usuários muitas vezes não conseguem identificar o erro ou subestimam o grau de erro na resposta.” O jornal relatou que mesmo quando uma resposta continha um erro flagrante, dois dos doze participantes ainda indicavam a resposta preferida. O artigo atribui isso à abordagem amigável e confiável do ChatGPT.
“A partir das entrevistas semiestruturadas, fica claro que as respostas educadas e detalhadas e o estilo de livro de texto, abrangência e afiliação nas respostas fazem com que respostas completamente erradas pareçam certas”, explicou o jornal.
