O ChatGPT responde incorretamente a mais da metade das questões de engenharia de software

Jun Wan/ZDNET

A capacidade do ChatGPT de fornecer respostas de bate-papo para qualquer pergunta a qualquer momento torna o chatbot um recurso útil para suas necessidades de informação. Apesar da conveniência, um novo estudo descobriu que você pode não querer usar o ChatGPT para reivindicações de engenharia de software.

Antes do advento dos chatbots de IA, o Stack Overflow era o principal recurso para programadores que precisavam de conselhos para seus projetos, com um modelo de perguntas e respostas semelhante ao ChatGPT.

também: Como impedir que o novo rastreador da web de treinamento de IA da OpenAI ingira seus dados

No entanto, com o Stack Overflow, você precisa esperar que alguém responda à sua pergunta, enquanto com o ChatGPT não.

Como resultado, muitos engenheiros de software e programadores recorreram ao ChatGPT para tirar suas dúvidas. Como não há dados mostrando a eficácia do ChatGPT em responder a esses tipos de solicitações, o Estudo da Universidade de Purdue Investigue o dilema.

Para ver a eficácia do ChatGPT em responder a reivindicações de engenharia de software, os pesquisadores enviaram perguntas ao ChatGPT 517 Stack Overflow e examinaram a precisão e a qualidade dessas respostas.

também: Como usar o ChatGPT para escrever código

Os resultados mostraram que das 512 perguntas, 259 (52%) das respostas do ChatGPT estavam incorretas e apenas 248 (48%) estavam corretas. Além disso, 77% das respostas foram detalhadas.

Embora as respostas fossem significativamente imprecisas, os resultados mostraram que as respostas foram abrangentes em 65% das vezes e abordaram todos os aspectos da questão.

Para analisar melhor a qualidade das respostas do ChatGPT, os pesquisadores pediram a 12 participantes com diferentes níveis de experiência em programação que fornecessem suas percepções sobre as respostas.

READ  Os preços europeus do Google Pixel 8 e Pixel 8 Pro aparecem online antes do lançamento em outubro

também: A equipe vermelha da Microsoft monitora a IA desde 2018. Aqui estão cinco grandes insights

Embora os participantes tenham preferido as respostas do Stack Overflow sobre o ChatGPT em diferentes categorias, conforme evidenciado pelo gráfico, os participantes não conseguiram identificar corretamente as respostas incorretas geradas pelo ChatGPT em 39,34% das vezes.

Universidade de Purdue

De acordo com o estudo, respostas bem articuladas nas pontuações do ChatGPT fizeram com que os usuários ignorassem informações incorretas nas respostas.

“Os usuários ignoram informações incorretas nas respostas do ChatGPT (39,34% do tempo) por causa dos insights humanos abrangentes e bem detalhados nas respostas do ChatGPT”, escreveram os autores.

também: Como o ChatGPT pode reescrever e melhorar o código existente

Gerar respostas aparentemente plausíveis e incorretas é uma questão importante em todos os chatbots porque permite que informações erradas se espalhem. Além desse risco, as pontuações de precisão mais baixas devem ser suficientes para fazer você reconsiderar o uso do ChatGPT para esses tipos de reclamações.

Leave a Comment

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Scroll to Top