ChatGPT回答编程问题的准确率比抛硬币还要差

本文概要:

1. 普渡大学研究发现，ChatGPT 在软件编程问题上的准确率不到五成。

2. ChatGPT 的答案虽然经常是错误的，但由于其全面性和清晰的语言风格，仍然具有欺骗性。

3. ChatGPT 的答案更容易犯概念错误，但在情绪表达上比 Stack Overflow 的答案更积极。

根据普渡大学的一项研究，OpenAI 的聊天机器人 ChatGPT 在超过一半的时间里对软件编程问题给出了错误的答案。

该研究分析了 ChatGPT 对517个 Stack Overflow 的问题的回答，以评估 ChatGPT 答案的正确性、一致性、全面性和简洁性。结果发现，52% ChatGPT 给出的答案是错误的，77% 的答案是冗长的。

值得注意的是，ChatGPT 的全面性和清晰的语言风格使其仍然具有欺骗性。研究人员表示，当错误不易验证或需要外部 IDE 或文档时，参与者往往无法识别错误或低估答案中的错误程度。由于其全面性和清晰的语言风格，ChatGPT 答案在39.34% 的情况下仍然受到青睐。

该论文指出，即使答案存在明显错误，12名参与者中仍有两人仍将首选答案标记为首选。论文将此归因于 ChatGPT 令人愉快、权威的风格。

此外，研究还发现 ChatGPT 的答案更容易犯概念错误，但在情绪表达上比 Stack Overflow 的答案更积极。