OpenAI推出用于识别GPT输出代码错误的模型CriticGPT

2024年06月28日 由 neo 发表 102 0

近日,OpenAI宣布推出了一款名为CriticGPT的创新工具,旨在通过人工智能技术显著提升代码审查的效率和准确性。这款工具通过识别并纠正人工智能模型输出中的错误和失误,确保人工智能系统能够更加精确地执行开发者意图。

criticgpt

在传统的代码审查过程中,开发人员通常需要依赖人力来评估大型语言模型的输出,并手动纠正其中的错误。然而,OpenAI的研究人员认为,利用人工智能自身的能力来辅助这一过程将更为高效。为此,他们开发了CriticGPT,一款基于GPT-4大型语言模型构建的AI评审工具。

code_desktop_light__3_-1

CriticGPT具备出色的代码分析和错误识别能力,能够协助人类评审员完成ChatGPT生成的代码审查任务。在测试阶段,CriticGPT的表现令人瞩目,其识别错误的能力甚至超越了普通的人类代码审查者。在63%的情况下,人类训练者更倾向于接受CriticGPT的批评,而非人类编写的批评。

image_2024-06-28_085954087

为了实现更高效的代码审查,OpenAI还开发了“Force Sampling Beam Search(强制采样光束搜索)”技术。这项技术使得CriticGPT能够对AI生成的代码提供更详细的评论,并赋予人类教师更大的灵活性,以便在寻找错误时调整CriticGPT的彻底性。此外,该技术还能有效控制CriticGPT偶尔产生的幻觉或误报,确保代码审查的准确性。

为了验证CriticGPT的实用性,研究人员将其应用于ChatGPT的训练数据集。这些数据集被人类注释者标记为“完美无缺”,但CriticGPT仍然在其中发现了24%的错误。这些错误随后得到了人类审阅者的证实,证明了CriticGPT具备识别人类容易忽视的最细微错误的能力。

尽管CriticGPT在代码审查方面取得了显著进展,但OpenAI也承认它仍面临一些挑战。首先,由于CriticGPT是基于ChatGPT的较短响应进行训练的,它在处理更长、更复杂的任务时可能表现受限。此外,CriticGPT并非万能,它仍然无法发现所有错误,并在某些情况下产生幻觉或误报。

然而,OpenAI对CriticGPT的未来发展充满信心。他们计划将CriticGPT整合到其强化学习从人类反馈(RLHF)的流程中,以进一步提高代码审查的效率和准确性。此举意味着,OpenAI的人类训练师将能够利用CriticGPT这一强大的生成式AI助手来协助他们审查AI的输出,从而推动人工智能技术的持续进步。

文章来源:https://itc.ua/en/news/meet-criticgpt-teacher-chatgpt-which-will-search-for-errors-in-chatbot-answers/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消