导读 新研究表明，尽管ChatGPT在推出时一夜成名，但在某些领域(尤其是辅助编码)仍然举步维艰。作为解决编程问题的理想解决方案，一些开发人员一...

新研究表明，尽管ChatGPT在推出时一夜成名，但在某些领域(尤其是辅助编码)仍然举步维艰。

作为解决编程问题的理想解决方案，一些开发人员一直在利用一系列生成式AI工具(如GitHub的Copilot)来加快工作流程，从而腾出更多时间专注于生产性工作。

然而，普渡大学研究人员的一项新研究发现，ChatGPT产生的答案中有一半以上(52%)是不正确的。

研究人员分析了StackOverflow上的517个问题，并将ChatGPT的答案与人类的回答进行了比较，发现人工智能的错误非常普遍。总体而言，超过一半(54%)是概念上的误解，约三分之一(36%)是事实错误，同样数量(28%)是代码中的逻辑错误，12%是术语错误。

论文还批评ChatGPT的回答冗长而复杂，包含比需要更多的细节，可能会造成混乱和分心。然而，在对12名程序员进行的一项极小规模调查中，三分之一的人更喜欢ChatGPT清晰而像教科书一样的回答，这凸显了程序员很容易被误导。

这些发现的含义非常重大，因为编码错误最终会导致更大的问题，影响多个部门或组织。

作者总结道：“由于ChatGPT产生了大量错误答案，我们的研究结果强调了在编程任务中使用ChatGPT答案时必须谨慎并保持警惕。”