gpt3.5（如何评价1700亿参数的GPT⑶？）gpt⑶ 居然可以这样

GPT⑶依旧延续自己的单向语言模型训练方式，只没有过这次把模型尺寸增大到了1750亿，并且使用45TB数据进行训练同时，GPT⑶次要聚焦于更通用的NLP模型，解决当前BERT类模型的两个缺点：对领域内有标签数据的过分依赖。

：虽然有了预训练+精调的两段式框架，但还是少没有了1定量的领域标注数据，否则很难取得没有错的效果，而标注数据的成本又是很高的对于领域数据分布的过拟合：在精调阶段，因为领域数据有限，模型只能拟合训练数据分布，如果数据较少的话就可能造成过拟合，致使模型的泛华能力下落，更加无法应用到其他领域。

因此GPT⑶的次要目标是用更少的领域数据、且没有经过精调步骤去解决问题。为了达到上述目的，作壁纸者们用预训练好的GPT⑶探索了没有同输入形式下的推理效果：

这里的Zero-shot、One-shot、Few-shot都是完全没有需要精调的，因为GPT⑶是单向transformer，在预测新的token时会对之前的examples进行编码作者们训练了以下几种尺寸的模型进行对比：。

实验证明Few-shot下GPT⑶有很好的表现：

最重要的是，GPT⑶的few-shot还在部分NLU任务上超越了当前SOTA该论文长达72页（Google T5是53页），第10页以后都是长长的实验结果取分析显然，GPT⑶的模型参数、训练数据和工作量都是惊人的，论文署名多达31个作者，所有实验做下来肯定也耗费了壁纸没有少时间。

虽然1直都存在对于大模型的质疑声音，但我们确确实实从T5、GPT⑶这样的模型上看到了NLP领域的进步，众多营业也开始受益于离线或者线上的BERT事物的发展都是由量变到质变的过程，感谢科研工作者们的没有懈努力和大厂们的巨额投入，奥利给。