1750亿参数,史上最大AI模子GPT-3上线:不仅会写文,答题,还懂数学
机器之心报道
机器之心编纂部
时隔一年，OpenAI 放出的预练习言语模子 GPT-3 再次让人刮目相看。
「我们练习了 GPT-3，一种具有 1750 亿参数的自回归言语模子，这个数字比以往任何非希罕言语模子都多 10 倍。我们在 few-shot 情况下测试了它的功能。」
本周五，OpenAI 提出的 GPT-3 在交际网络上掀起了新一阵风潮。它的参数目要比 2 月份刚刚推出的、举世最大深度学习模子 Turing NLP 大上十倍，并且不仅可以更好地答题、翻译、写文章，还带有一些数学盘算的才能。如此强壮的深度学习，不由让人产生一种错觉：真正的 AI 要来了吗？
起首，GPT-3 最令人惊奇的照旧模子体量，它使用的最大数据集在处理前容量到达了 45TB。依据 OpenAI 的算力统计单位 petaflops/s-days，练习 AlphaGoZero 必要 1800-2000pfs-day，而 OpenAI 刚刚提出的 GPT-3 用了 3640pfs-day，看来拥有微软无穷算力的 OpenAI，如今真的是为所欲为了。
研讨者们渴望 GPT-3 可以成为更通用化的 NLP 模子，处理如今 BERT 等模子的两个不敷之处：对范畴内有标志数据的太过依托，以及关于范畴数据分布的过拟合。GPT-3 努力于可以使用更少的特定范畴，不做 fine-tuning 处理成绩。
和往常一样，GPT-3 立刻放出了 GitHub 项目页面，不外现在仅是一些天生样本和数据集，还没有代码：
https://github.com/openai/gpt-3。
不外上传的没有那么快但是无可厚非，在 issue 里有人性出了原形：参数这么多，假如依照 GPT-2 十五亿参数即是 6G 这么算的话，GPT-3 模子约莫要 700G，老硬盘还装不下，不是正凡人能玩的转的。
2019 年 3 月机器学习先驱，阿尔伯塔大学传授 Richard S. Sutton 出名的文章《酸涩的教导》里开篇就曾说道：「70 年的人工智能研讨史报告我们，使用盘算才能的寻常办法终极是最好效的办法。」
GPT-3 的提出大概会让开发者落泪，大学教师沉默，黄仁勋感受肩上担子更重了。还记得几周前线才完毕的 GTC 2020 吗，英伟达 CEO 的 Keynote 上有一页讲迩来几年来人工智能范畴里最大的深度学习模子：
英伟达表现，自 2017 年底公布 Tesla V100 之后，练习最大模子的算力需求增长了 3000 倍。在这内里 GPT-2 也不在最高的地点了，微软本年 2 月推出的 Turing NLG（170 亿参数）、英伟达的 Megatron-BERT（80 亿参数）排名前线。GPT-3 要放进这个表里，标准表还要再向上挪一挪。
尚有网友吐槽，GPT-3 共 72 页的论文长度也令人绝望：
下一次更大的模子，论文长度怕不是要破百了。
不外宏大的参数目带来的文本天生后果也是颇为可观的，让我们来看看 GPT-3 毕竟能不克不及完成写讯息、写小说，乃至写论文的才能吧。
GPT-3：我是 GPT-2 的「究极提高版」
2019 年初，OpenAI 公布了通用言语模子 GPT-2，可以天生连接的文本段落，在很多言语建模基准上取得了 SOTA 功能。这一基于 Transformer 的大型言语模子共包含 15 亿参数、在一个 800 万网页数据集上练习而成。GPT-2 是对 GPT 模子的直接扩展，在超出 10 倍的数据量上举行练习，参数目也多出了 10 倍。
但是，长江后浪推前浪。昨日，OpenAI 公布 GPT-3 模子，1750 亿参数目，足足是 GPT-2 的 116 倍。
GPT-3 的论文作者多达 31 人，来自 OpenAI、约翰霍普金斯大学的 Dario Amodei 等研讨职员证实白在 GPT-3 中，关于一切职责，模子无需举行任何梯度更新或微调，而仅经过与模子的文本交互指定职责和少数示例即可取得很好的后果。
GPT-3 在很多 NLP 数据集上均具有出色的功能，包含翻译、问答和文本填空职责，这还包含一些必要即时推理或范畴顺应的职责，比如给一句话中的单词交换成同义词，或实行 3 位数的数学运算。
固然，GPT-3 也可以天生讯息报道的样本，我们很难将机器写的文章与人类写的区分开来。
讯息天生
据《华盛顿邮报》报道，颠末两天的剧烈争辩，团结卫理公会赞同了一次汗青性的崩溃：要么创建新教派，要么则在神学和社会心义上走向保守。大局部到场五月份教会年度聚会会议的代表投票同意加强任命 LGBTQ 神职职员的禁令，并订定新的端正「惩戒」掌管同性婚礼的神职职员。但是反对这些办法的人有一个新方案：2020 年他们将构成一个新教派「基督教卫理公会」。
《华盛顿邮报》指出，团结卫理公会是一个自称拥有 1250 万会员的构造，在 20 世纪初期是「美国最大的新教教派」，但是近几十年来它不休在萎缩。这次新的崩溃将是该教会汗青上的第二次崩溃。第一次产生在 1968 年，事先约莫只剩下 10% 的成员构成了「福音团结弟兄会」。《华盛顿邮报》指出，目条件出的崩溃「关于多年来成员不休流失的团结卫理公会而言，来得正是时分」，这「在 LGBTQ 人物成绩上将该教派推向了崩溃边沿」。同性婚姻并不是崩溃该教会的唯一成绩。2016 年，该教派因跨性别神职职员的任命而崩溃。北宁静洋地区聚会会议投票克制他们承继神职职员，而南宁静洋地区聚会会议投票允许他们承继神职职员。
这确定不是报刊记者撰写的短讯息吗？
GPT-3 用才能报告你答案：不是。
给出标题「团结卫理公会赞同这一汗青性崩溃」和子标题「反对同性恋婚姻的人将创建本人的教派」，GPT-3 天生了上述讯息。
就问你能不克不及看出来？横竖我认输……
在 OpenAI 的测试中，人类评价职员也很难推断出这篇讯息的真假，检测准确率仅为 12%。
不外，GPT-3 也有失手的时分。好比关于 GPT-3 天生的下列短篇，人类推断真伪的准确率到达了 61%！
依据 OpenAI 的统计，人类对 GPT-3 175B 模子天生的约 500 词文章的推断准确率为 52%，不外比拟于 GPT-3 control 模子（没有语境和不休增长的输入随机性且只具有 1.6 亿参数的模子），GPT-3 175B 天生的文实质量要高得多。公然很暴力啊！
「牙牙学语」，GPT-3 的造句才能
给出一个新单词及其界说，造出一个新句子。难吗？这必要你了解单词的意义及实用语境。OpenAI 研讨者测试了 GPT-3 在这一职责上的才能：给出一个不存在的单词（如「Gigamuru」），令 GPT-3 使用它造句。
我们来看 GPT-3 的天生后果：
给出新单词「Gigamuru」（表现一种日本乐器）。
GPT-3 给出的句子是：叔叔送了我一把 Gigamuru，我喜幸而家弹奏它。
严丝合缝，十分公道，完善！
再看一个动词例子：
给出新单词「screeg」（挥剑，击剑）。
GPT-3 造出的句子是：我们玩了几分钟击剑，然后出门吃冰淇淋。
也还不错。
接下去，我们再来看 GPT-3 的其他才能。
语法纠错
给出一句带有语法错误的话，让 GPT-3 举行修正。
第一个例子中，原句里有两个并列的动词「was」和「died」，GPT-3 删除系动词「was」，将其修正为准确的句子。
第二个例子中，原句里 likes 后的 ourselves 是 we 的反身代词，而这里 like 这一举措的实行者是 Leslie，因此 likes 后即使要用反身代词，也应该是 himself，而另一个改法是将反身代词改成 we 的宾格 us，即「我们以为 Leslie 喜好我们」。
Bingo！GPT-3 答对了。
看完 GPT-3 的纠错后果，真是英语教师欣喜，学生内疚……
GPT-3 还能做盘算题？
不止英语教师欣喜，数学教师也跑不了。GPT-3 可以实行简便的盘算。
OpenAI 研讨职员在以下 10 项职责中测试了 GPT-3 做简便盘算的才能，且无需任何职责特定的练习。
这十项职责分散是：两位数加减法、三位数加减法、四位数加减法、五位数加减法、两位数乘法，以及一位数殽杂运算。
用于测试 GPT-3 盘算才能的十项职责。
在这十项职责中，模子必需天生准确的答案。关于每项职责，该研讨天生包含 2000 个随机实例的数据集，并在这些实例上评价一切模子。
下图展现了 GPT-3（few-shot）在这十项盘算职责上的功能。从图中可以看到，小模子的功能较差，即使是拥有 130 亿参数的模子（仅次于拥有 1750 亿的 GPT-3 完备版模子）处理二位数加减法的准确率也仅有 50% 支配，处理其他运算的准确率还不到 10%。
GPT-3 在多个言语建模职责中的体现
GPT-2 公布时在多个范畴特定的言语建模职责上完成了如今最佳功能。如今，我们来看参数和本钱多量增长后的 GPT-3 后果怎样。
OpenAI 在多项职责中对 GPT-3 的功能举行了测试，包含言语建模、补全、问答、翻译、知识推理、SuperGLUE 等职责。具体后果如下表所示：
不同模子在一切职责上的功能，以及职责的 SOTA 功能（包含模子范围、练习细节等信息）。
GPT-3 武艺剖析
近期多量研讨事情标明，经过对多量文本举行预练习，并且针对特定职责举行微调，模子的功能可以在很多 NLP 职责以及基准测试中取得明显提升。
迩来，OpenAI 团队练习了 GPT-3（这是一个具有 1750 亿参数的自回归言语模子，参数目是之上任何非希罕言语模子的 10 倍），并在少样本（few-shot）情况下对其功能举行了测试。在一切职责中，GPT-3 无需举行任何分外的梯度更新或微调，完全只经过模子与文本的交互，即可直接使用于特定职责与少样本 demo。
GPT-3 在很多 NLP 数据集上均有出色的功能，包含翻译、问答和内容添补职责，以及多项必要及时推理或域顺应的职责，如使用新单词造句或实行三位数运算等。GPT-3 天生的讯息文章足以以假乱真，令人类评价员难以区分。
不外，GPT-3 也有缺陷。该研讨团队发觉 GPT-3 (few-shot) 在文本构成和多个 NLP 数据集上的功能不够好，还存在一些布局和算法上的缺陷。另一个言语模子大多会有的缺陷「预练习样本听从较低」的成绩它也有，GPT-3 在预练习时期阅读的文本比人终身读的还要多。别的，另有可表明性成绩等。
预练习办法
OpenAI 团队使用的基本预练习办法包含模子、数据与练习三局部。GPT-3 的练习历程与 GPT-2 相似，但对模子轻重、数据集轻重与多样性、练习长度都举行了相对直接的扩展。关于语境学习，GPT-3 相反使用了与 GPT-2 相似的办法，不外 GPT-3 研讨团队体系地探究了不同的语境学习设定。
OpenAI 团队明白地界说了用于评价 GPT-3 的不同设定，包含 zero-shot、one-shot 和 few-shot。
Fine-Tuning (FT)：微调是近几年来最为常用的办法，触及在希冀职责的特定命据集上更新颠末预练习模子的权重；
Few-Shot (FS)：在该研讨中指与 GPT-2 相似的，在推理阶段为模子提供少数职责演示，但不允许更新网络权重的情况；
One-Shot (1S)：单样本与小样本相似，不同的是除了对职责的天然言语形貌外，仅允许提供一个职责演示；
Zero-Shot (0S)：零次样本除了不允许有任何演示外与单样本相似，仅为模子提供用于形貌职责的天然言语指示。
zero-shot、one-shot、few-shot 设置与传统微调办法的比力。
上图以英-法翻译职责为例，展现了四种办法。该研讨将重点放在 zero-shot、one-shot 和 few-shot 上，其目标并非将它们作为竞品举行比力，而是作为不同的成绩设置。OpenAI 团队特别重申了 few-shot 后果，由于此中很多后果仅仅略微逊色于 SOTA 微调模子。不外，用 one-shot 乃至偶尔是 zero-shot 与人类水平举行比力仿佛最为公平，这也是将来事情的紧张目标之一。
模子和架构
该研讨使用了和 GPT-2 相反的模子和架构，包含改良的初始设置、预归一化和 reversible tokenization。区别在于 GPT-3 在 transformer 的各层上都使用了瓜代茂密和局部带状希罕的注意力形式，相似于 Sparse Transformer [CGRS19]。
为了研讨功能对模子轻重的依托性，该研讨练习了 8 种不同的模子轻重，涵盖 3 个数目级，从 1.25 亿参数到 1750 亿个参数不等，具有 1750 亿个参数的模子即为 GPT-3。
先前的研讨 [KMH+20] 标明，在有充足练习数据的情况下，验证丧失的缩放比例应该近似为模子轻重的平滑幂律函数。这项研讨练习了多个不同轻重的模子，这使得研讨者可以对验证丧失和卑劣言语职责查验该假定。
表 2.1 展现了 8 个模子的轻重和架构。这里 n_params 表现可练习参数总量，n_layers 表现层数，d_model 表现每个瓶颈层中的单位数目（在该研讨中前馈层总是瓶颈层轻重的 4 倍，即 d_ff = 4 ? d_model），d_head 表现每个注意力头的维度。一切的模子均使用 n_ctx = 2048 tokens 的语境窗口。
表 2.1：该研讨所练习 8 个模子的轻重、架构和超参数信息。一切模子一共使用了 3000 亿 token。
为了最大水平地缩末节点之间的数据传输，该研讨从深度和宽度两个朝向举行跨 GPU 模子支解。然后基于跨 GPU 模子布局的盘算听从和负载均衡选择每个模子准确的架构参数。先前的研讨 [KMH+20] 标明，在公道范围内，验证丧失对这些参数并不是特别敏感。
练习数据集
下表先容了 GPT-3 练习历程中所用的数据集。
表 2.2：用于练习 GPT-3 的数据集。
OpenAI：但是我们也有点玩不起了
最开头是练习不动，厥后 finetune 不起，如今到了 GPT-3 模子的年代，我们连 forward 也要不起了。
你一定想问如此一个成绩：练习 GPT-3 模子必要花几多钱？我们现在还只能大略地估测——练习一个 BERT 模子租用云算力要花约莫 6912 美元，练习 GPT-2 每小时要破费 256 美元，但 OpenAI 不休没有泄漏一共要花几多小时。
比拟之下，GPT-3 必要的算力（flops）是 BERT 的 1900 多倍，以是这个数字应该是万万美元级别的，致使于研讨者在论文第九页说：我们发觉了一个 bug，但没钱再去重新练习模子，以是先就这么算了吧。
但即使如此它的后果仍然惊人。
GPT-3 的实行后果，仿佛验证了 Richard Sutton 客岁颇具争议的结论，他在《酸涩的教导》的最初写道：「我们应该从酸涩的教导中学到一点：通用办法十分强壮，这类办法会随着算力的增长而持续扩展，搜刮和学习仿佛正是如此的办法。」
关于 GPT-3 的更多具体，参见论文：
https://arxiv.org/abs/2005.14165
