王者荣耀gp是什么意思呀（GPT⑶王者来袭！1750亿参数少样本无需微调，网友：「调参侠」都没的当了）gpt⑶ 居然可以这样

OpenAI最强预训练语言模型GPT⑶周四发表在预印本 arXiv 上，1750亿参数!

GPT系列的预训练语言模型1直是大力出奇迹的典型代表，但是1代和二代在偏重理解的自然语言处理任务中表现欠佳，逊色于BERT家族GPT(Generative Pre-Training)是1个12层单向Transformer语言模型。

语言模型训练好后，可以用于其他的NLP任务使用GPT首先要学习神经网络的初始参数，然后，根据具体任务再进行微调GPT⑵在GPT基础上对模型做了调整，将Layer Normalization挪到了每个sub-block的输入，另外有1个LN加到了自注意力block以后，GPT⑵手机壁纸把输入输出全部转化为了文本，训练出15亿参数的模型，在自然语言生成领域1时风头无两。

少样本学习无需微调，以后都没有能自黑「调参侠」了GPT⑶基于 CommonCrawl (从2016年到2019年收集了近1万亿个单词)、网络文本、书籍、维基百科等相关的数据集进行训练GPT⑶的参数量高达1750亿，相比之下，GPT⑵的最大版本也只有15亿个参数，而微软早前推出的全球最大的基于Transformer的语言模型有170亿个参数。

GPT⑶模型在1系列基准测试和特定领域的自然语言处理任务（从语言翻译到生成新闻）中达到最新的SOTA结果GPT⑶只是参数量巨大吗？此次发布的GPT⑶还是沿用了之前的手机壁纸单向transformer，我们看题目，这次的模型是少样本学习语言模型，没有管是Zero-shot、One-shot还是Few-shot都无需再进行微调，但推理速度还有待验证。

实验证明，1750亿参数的GPT⑶模型，在少样本学习中取得了没有错的效果。「GPT⑶在特定领域少样本学习中取得了极大的性能提升，有些甚至超过了当前的SOTA效果」。

对于所有任务，GPT⑶没有进行任何微调，仅通过文本取模型进行交互。

知乎用户李如总结了GPT⑶相对BERT的优势，BERT在特定领域的任务微调过分依赖标注数据、容易过拟合，而GPT⑶只需要少量标注数据，且无需微调前面我们说了GPT和GPT⑵在自然语言理解手机壁纸方面还是逊色于BERT，那这次有没有新进展呢？。

在专门用于测试推理和其他高级 NLP 模型任务的 SuperGLUE 基准测试中，GPT⑶在 COPA 和 ReCoRD 阅读理解数据集中获得了近乎最好的结果，但是取高低文词汇分析(WiC)和 RACE (1组中学和高中考试问题)相比还是有所欠缺。

接下来作者们对下流的各种NLP任务进行了实验，想要了解更多细节的朋友可以去arXiv上查看原始论文https://arxiv.org/pdf/2005.14165.pdfOpenAI这次没有光拼参数量，还要拼作者数量？。

这次的GPT⑶论文作者足足有31位，现在语言模型没有仅要拼参数量，还要拼作者数量吗？手机壁纸

谷歌53页的T5论文已经让人惊掉下巴，GPT⑶的竟然有72页！知乎网友感叹，现在PTM的工作是要开始pk论文页数了吗？

GPT⑶直接被打上了炫富的标签。

计算量是BERT的2000多倍，知乎网友Jsgfery表示，这么大的模型跑1次就好，可千万别出bug，地主家也没有余粮再训练1次了。

GPT2生成的虚假文章已经让人真假难辨，至少在语句的通顺性上是这样。GPT⑶的效果将更胜GPT2，有网友也表示我们将会败给GPT⑶，如果以后网页的内容都是自动生成的，那阅读还有什么意义？

OpenAI 去年发布了 GPT⑵，因为担心该模型可能被恶意使用，并没有放出预训练的模型有些网友评论说应该改名Closea手机壁纸i，但是OpenAI这种审慎的做法也有没有少人赞同网友们也关心 GPT⑶的完整版本是否会开源，或者是否会有7个规模从1.25亿到130亿没有等的小版本时，OpenAI没有给予明确答复。

参考链接：https://www.zhihu.com/question/398114261https://arxiv.org/abs/2005.14165