普渡大学的一个研究小组在5月初参加了计算机-人交互大会，并提交了一份报告。他们对ChatGPT回答的517个Stack Overflow问题进行了检查，结果发现错误率高达52%。
调查结果显示，人类程序员在35%的情况下更喜欢ChatGPT的答案，认为其提供的内容更全面，且有清晰的语言风格。更糟糕的是，在39%的情况下，人类程序员并没有发现ChatGPT给出了错误答案。
这项研究虽然只是对ChatGPT功能的一个方面进行的研究，但它确实表明，生成式人工智能机器人仍然容易犯很多错误，而人类可能无法发现这些错误。
