萧箫 发自 凹非寺
量子位 | 大众号 QbitAI
比Codex还会写C言语的AI代码天生模子，当初开源了！
这段时光，用AI写代码能够说是年夜火，此中最有名的要属OpenAI的Codex跟DeepMind的AlphaCode。
△基于Codex的Copilot
但是，这两个AI模子，全都不开源：
此中AlphaCode只给出了一些测试样例，而Codex只开放了API。
为此，来自CMU的多少个研讨职员，用GPT-2搞出了一个名叫PolyCoder的AI代码天生模子，并且仍是开源的。
据研讨职员表现，固然PolyCoder最年夜只有27亿参数（比拟Codex有120亿参数），但它用C言语写出来的代码，比Codex的后果还要好。
这外面毕竟有什么法门？
用12种编程言语代码集练习
起首来看练习用的数据集，这也是PolyCoder的最年夜特色之一。
此前，包含Codex、CodeParrot等AI代码天生模子，重要都是基于Python言语的代码来练习。
比方Codex的评价数据集之一HumanEval，评价的也是天生Python代码的后果。
比拟之下，PolyCoder采取了多种编程言语代码集来练习，一共有12种：
C、C#、C++、Go、Java、JavaScript、PHP、Python、Ruby、Rust、Scala跟TypeScript。
此中，C言语的代码量是最多的，到达了221GB；而Python代码的数据量比Codex跟CodeParrot用得都要少。
这里PolyCoder用的是GitHub上的公然代码，重要拔取的是种种编程言语中比拟受欢送的库，每个库至少有50 Stars。
据研讨职员表现，每种编程言语库的Stars总数加起来不超越25k，以防止模子天生的代码后果太甚于倾斜最风行的编程言语（平日编程言语越风行，库的Stars就越多）。
经由过程提取库中的文件、经由简略处置（包含打消反复代码）后，一共挑选出大概254GB的数据用于练习。
而后是预练习的方式。
言语模子的预练习方式平日有三种。
第一种是自左向右的言语模子，依据上文猜测下文，比拟实用于代码天生等；第二种是遮蔽言语模子，基于高低文猜测屏障片断，比拟合适代码分类等；第三种是编解码器模子，比拟实用于代码解释等义务。
这里PolyCoder重要采取的是第一种预练习方式。
比拟于同样采取GPT-2练习的CodeParrot跟Codex，PolyCoder在超参数设置上也略微有一些差别：
PolyCoder一共供给了三种差别的模子，分辨有27亿参数、4亿参数跟1.6亿参数，研讨职员能够依据本身需要跟差别的练习才能来拔取适合的模子。
那么，终极练习出来的AI模子，代码天生后果怎样？
C言语写得尤其好，但Python不可
研讨职员将PolyCoder与已有的AI代码天生模子停止了对照。
因为AlphaCode欠好比拟（接口没开放），以是研讨职员重要剖析了上面这些模子，包含GPT-Neo、CodeParrot跟Codex等。
此中蓝色的是开源的，橙色的是没开源的：
从参数目来看，PolyCoder并不是最顶尖的，最年夜的27亿参数模子也只有Codex的四分之一不到。
研讨职员先是用言语模子评价常用的迷惑度对一系列模子停止了比拟。
迷惑度（Perplexity），用于权衡言语模子（LM）的优劣。迷惑度越低，言语模子面临代码觉得迷惑的水平就越低，模子天生后果越好。
从图中来看，PolyCoder在C言语中不测获得了最好的后果（迷惑度最低）。
用大批C言语练习PolyCoder的成果阐明，即便模子团体道理稳定（基于GPT-2），纯真转变练习用的代码集，也能练习出善于差别言语作风的AI代码天生模子。
惋惜的是，从其余言语来看，天生的后果就完整没措施跟Codex比拟了：
比方，在重要用于评价Python代码的HumanEval上，PolyCoder的才能远不如Codex好：
据论文剖析，这可能是Python代码数据量、模子参数目缺乏等起因招致的。
别的，作者们也提到，做出PolyCoder的目标重要仍是为了开源一个AI代码天生模子，让更多人参加研讨跟应用。
现在代码曾经开源，无论是直接拿来用，仍是试着在它的基本上开辟新模子都能够。
感兴致的小搭档能够上手一试了~
作者先容
一作许朴直（Frank Xu），现在在CMU读博，研讨偏向是NLP、信息抽取等，宣布过多篇顶会论文，包含ICLR、ACL跟EMNLP等。本硕结业于上海交通年夜学，师从朱其破教学。
Uri Alon，在CMU停止博士后任务，研讨偏向是编程言语处置（PLP）、NLP跟深度进修。
Graham Neubig，CMU助理教学，研讨偏向是NLP、呆板翻译跟基于呆板进修的天然言语懂得。
Vincent J. Hellendoorn，CMU盘算机助理教学，重要研讨偏向是软件工程跟呆板进修，努力于应用智能方式辅助软件开辟职员增加代码调试、顺序优化等繁琐任务的时光。
不晓得作者们能否曾经在用这个AI撸代码了（手动狗头）
名目地点：
https://github.com/VHellendoorn/Code-LMs
论文地点：
https://arxiv.org/abs/2202.13169
