首页站长资讯各家的“ChatGPT”什么时候能取代程序员？CSDN AI编程榜发布

各家的“ChatGPT”什么时候能取代程序员？CSDN AI编程榜发布

站长网2023-03-14 14:04:3715阅

“人人都是开发者”的时代终于要来临了!

ChatGPT 的出现，引领了科技公司追逐 AI 的浪潮。相比初代 GPT-3，最新基于GPT3.5的模型之所以受到更加广泛的关注，主要原因之一便是它在加入了代码作为训练数据后，彻底颠覆了传统模型较弱的思维链推理能力，大大地提升了模型的推理能力。因此，这也催生了多款针对开发者的辅助和革命性工具。

GPT3.5加入了代码作为训练数据后，大大地提升了推理能力

为给广大开发者推荐更多好用的辅助（Ti Dai）工具，CSDN 重磅发起“CSDN AI 编程榜单”，定期针对业界主流的 AI Coding 产品进行评测。本期榜单中，我们共选择了六款 AI Coding 产品，分别是:ChatGPT、GPT3.5、CodeBBT、GitHub Copilot、CodeGeeX、aiXcoder。

话不多说，我们先看评测得到的关键性结论:

ChatGPT 以几乎接近满分的成绩，摘得榜首，成为开发者辅助编码的最佳神器;

目前尚未有任何一款产品达到 C4（高度自动编程）级别，即，想要在没有任何的人工干预下，生成理想中的代码也还存在一定的困难，正因此，至少就当前阶段而言，“程序员即将被 AI 所取代”的传言也并不可信;

C 和 Java 在各模型的3分占比高于 Javascript、Python 及 Shell，这意味着各大模型对 C 和 Java 语言支持要优于其他几种语言。

注:本次评测为了快速获取评测结论，从生成任务数据集到评分/评级若有遗漏和不足之处，望各位大佬斧正。也欢迎本次没有覆盖到的产品联系我们（kefu@csdn.net），加入评测。

AI 编程究竟哪家强?我们一起来评测

首先，根据流行度、发布时间、智能化等维度，我们选取了如下六款产品作为评测对象:

GPT-3.5，是 OpenAI 在GPT-3基础上微调出来的版本，它采用了与 GPT-3不同的训练方式，所产生出来不同的模型，比起 GPT-3来的更强大。

GitHub Copilot（https://github.com/features/copilot），是GitHub 和 OpenAI 于2021年6月推出的人工智能工具，它可以根据命名或者正在编辑的代码上下文为开发者提供代码建议。

GPT-3.5-Turbo（ChatGPT）（https://openai.com/blog/chatgpt），是 OpenAI 于2022年11月推出的人工智能聊天机器人程序。该程序使用基于 GPT-3.5-Turbo 架构的大型语言模型并以强化学习训练。ChatGPT 目前仍以文字方式交互，而除了可以用人类自然对话方式来交互，还可以用于甚为复杂的语言工作，包括自动生成文本、自动问答、自动摘要等多种任务。

CodeGeeX（https://github.com/THUDM/CodeGeeX/blob/main/README_zh.md），是智谱 AI 联合清华、华为发布的代码生成模型，它是一个具有130亿参数的多编程语言代码生成预训练模型。采用华为 MindSpore 框架实现，在鹏城实验室“鹏城云脑II”中的192个节点(共1536个国产昇腾910AI 处理器)上训练而成。

CodeBBT，是超对称技术公司近期发布的 BBT-2大模型系列中的代码模型。继2022年6月发布10亿参数的 BBT-1金融大模型后，超对称公司接续研发了120亿参数的通用语言大模型 BBT-2，并在 BBT-2的基础上训练中英文代码数据，推出面向中文开发者的代码模型 CodeBBT。

aiXcoder（https://www.aixcoder.com），是硅心科技研发的国内首款基于深度学习的智能化软件开发工具，利用 AI 技术实现代码?动?成、代码?动补全、代码智能搜索等功能，提升开发者开发效率与代码质量。

基于以上 AI 辅助代码工具，在生成任务的选取中，生成任务语言以中文自然语言环境为主。测试集包含了 C 、 Java、 Javascript 、Python 和 Shell5种主流的开发语言。另外，以开发者在 CSDN 平台上的 Text→Code（Code→Text）、Troubleshooting、命令行等高频需求为生成任务。评测同一个 Query 在不同模型搜索返回结果的效果，并选择50个 CSDN 搜索高频 Query。

CSDN 发布C1-C5级自动编程评测方法与标准

为了更直观地看出不同产品之间的区别，我们模仿自动驾驶的 L1-L5级别划分，将自动编程分成了 C1-C5级别。

倘若能够达到 C5级别，那么也可以畅想一下未来:产品经理能够直接用自然语言写成的需求文档作为输入，自动生成代码、自动化测试、自动化部署上线等。

当然，自动驾驶也分路况，自动化编程也会分“路况”，在此，我们也将每一档划分了相应的分值:

*说明:评分涉及的编程语言指主流编程语言 Java、C/C 、Javascript、Python和Shell

单条 Query→内容打分规则

3分:有正确输出，能直接解决问题

2分:有错误输出，不能直接解决问题，但输出可参考

1分:有输出但不能解决问题，输出不可参考

0分:无输出

评测三步走

本次的测试集主要是 CSDN 上用户主要在 AI Coding 上的高频需求同时兼顾对主流编程语言的覆盖，可能不能完全体现各个产品/模型的性能，并且上述产品是针对不同的场景来设计的，所以在不同的“路况”下，表现会有差别，例如 Copilot 和 CodeGeex 就是专门为 IDE 环境设计的辅助开发工具，所以在代码生成方向很强，但是 Troubleshooting 上就会差一些，可能不是没有这个能力，而是针对性设计的结果。

因为所有产品均未达到 C4，故所选的测试集均为 C4级别以下的数据。同时我们以真实的用户需求为评估方向，因此我们以C3代码生成和代码调试展开评估以及阐述。

具体评测步骤按下面评分对各项打分求和即是模型最终得分，再根据模型档位对应的分数范围将模型划分到对应档位。

1. 函数级别的代码生成、代码分析的评分，对应分数作为在 C3等级的评分

单条评分加和，具体单条评分如下，其评分规范参见上文第二部分:

在遵循此步骤的基础上，我们以生成一个「Python 爱心代码」为例，不妨先看看每种模型的表现情况:

模型:GPT-3.5-Turbo（ChatGPT）

得分:3分

输出内容如下: