A capacidade do ChatGPT de fornecer respostas de bate-papo para qualquer pergunta a qualquer momento torna o chatbot um recurso útil para suas necessidades de informação. Apesar da conveniência, um novo estudo descobriu que você pode não querer usar o ChatGPT para reivindicações de engenharia de software.
Antes do advento dos chatbots de IA, o Stack Overflow era o principal recurso para programadores que precisavam de conselhos para seus projetos, com um modelo de perguntas e respostas semelhante ao ChatGPT.
também: Como impedir que o novo rastreador da web de treinamento de IA da OpenAI ingira seus dados
No entanto, com o Stack Overflow, você precisa esperar que alguém responda à sua pergunta, enquanto com o ChatGPT não.
Como resultado, muitos engenheiros de software e programadores recorreram ao ChatGPT para tirar suas dúvidas. Como não há dados mostrando a eficácia do ChatGPT em responder a esses tipos de solicitações, o Estudo da Universidade de Purdue Investigue o dilema.
Para ver a eficácia do ChatGPT em responder a reivindicações de engenharia de software, os pesquisadores enviaram perguntas ao ChatGPT 517 Stack Overflow e examinaram a precisão e a qualidade dessas respostas.
também: Como usar o ChatGPT para escrever código
Os resultados mostraram que das 512 perguntas, 259 (52%) das respostas do ChatGPT estavam incorretas e apenas 248 (48%) estavam corretas. Além disso, 77% das respostas foram detalhadas.
Embora as respostas fossem significativamente imprecisas, os resultados mostraram que as respostas foram abrangentes em 65% das vezes e abordaram todos os aspectos da questão.
Para analisar melhor a qualidade das respostas do ChatGPT, os pesquisadores pediram a 12 participantes com diferentes níveis de experiência em programação que fornecessem suas percepções sobre as respostas.
também: A equipe vermelha da Microsoft monitora a IA desde 2018. Aqui estão cinco grandes insights
Embora os participantes tenham preferido as respostas do Stack Overflow sobre o ChatGPT em diferentes categorias, conforme evidenciado pelo gráfico, os participantes não conseguiram identificar corretamente as respostas incorretas geradas pelo ChatGPT em 39,34% das vezes.
De acordo com o estudo, respostas bem articuladas nas pontuações do ChatGPT fizeram com que os usuários ignorassem informações incorretas nas respostas.
“Os usuários ignoram informações incorretas nas respostas do ChatGPT (39,34% do tempo) por causa dos insights humanos abrangentes e bem detalhados nas respostas do ChatGPT”, escreveram os autores.
também: Como o ChatGPT pode reescrever e melhorar o código existente
Gerar respostas aparentemente plausíveis e incorretas é uma questão importante em todos os chatbots porque permite que informações erradas se espalhem. Além desse risco, as pontuações de precisão mais baixas devem ser suficientes para fazer você reconsiderar o uso do ChatGPT para esses tipos de reclamações.
