深兰科技人工智能培训费用（GPT⑶：人工智能的新突破）gpt⑶ 这都可以

 

来源：王宏琳科学网博客在过去几个月里，占据海外科技新闻头条主导地位的、人工智能领域最令人兴奋的新事物之1是GPT⑶——OpenAI的新的文本生成程序，1种由神经网络驱动的语言模型，1个根据人类用户的提示自动生成文本的人工智能引擎。

《The Verge（边缘）》报告：“从表面上看，人工智能天下上最令人兴奋的新产品看上去非常简单 它没有是什么微妙的游戏程序，可以超越最好的人类玩家，也没有是1种机械先进的机器人，像奥运选手1样后空翻它只是1个自动完成程序，就像Google搜索栏中的程序1样，你开始输入，它将预测接下来的情况。

但这听起来很简单，但这项发明可能最终定义未来的十年”（参考资料[1]）GPT-壁纸32020年 5月，Tom B. Brown 等在1篇研究论文（参考资料[2]）中，宣布了最新的语言模型GPT⑶这篇由31位作者署名的75页的论文引起颇大的反响——对许多人来说，该模型代表了算法在处理各种任务时使用人类语言推理的能力上的1次重大飞跃。

语言模型是预测单词的统计工具如同“天气模型”是计算未来天气的概率，预测未来7天的天气预报，“语言模型”是计算1个句子的概率，用来预测句子中的下1个单词GPT是英文“Generative Pre-trained Transformer（生成性预训练变换器）”的首字母缩写。

GPT⑶是OpenAI语言模型的第3代，是有史以来最复杂的语言模型，其网络架壁纸构中有1750亿个参数这比GPT⑶发布前最复杂的模型（微软的Turing-NLG）复杂10倍，比GPT⑵（OpenAI语言模型的第二代）复杂117倍。

最重要的是，GPT⑶得益于few-shot学习（少示例学习，见附录A说明），在这种情况下，对于特定的语言任务，预先训练的模型没有必使用大量标记的训练数据进行微调它只需要给出任务描述，并给出了几个输入映射到输出的示例。

例如，GPT⑶用于“将英语单词翻译成法语”任务，在“few-shot（少示例）学习”的条件下，只要提供1些英语段落和它们的法语对等物，在“zero-shot（零示例）学习”的条件下，它只要提供了1条指令：“Translate E壁纸nglish to French（将英语翻译成法语）”。

这似乎是GPT⑶如此令人印象深刻的“智能”和人性化的次要原因GPT⑶可以做到其他模型所没有能很好做到的：执行特定的任务而没有需要特殊的调整你可以要求GPT⑶成为1名翻译人员、程序员、诗人或作家，它只要用户（你）提供少于10个培训示例。

这就是GPT⑶对机器学习实践者如此激动人心的原因其他语言模型（如，BERT）需要1个精心设计的微调步骤，比如，你需要收集了数千个英文、法文句子对的例子，来教它如何从英文翻译为法文为了使BERT适应特定的任务（如翻译、摘要、垃圾邮件检测等），必须找到1个大型的培训数据集（大约有数千或数万个示例），根据任务的壁纸没有同，这些数据集可能很麻烦，有时甚至没有可能。

而对于GPT⑶，没有需要执行微调步骤这是它的核心加上易于使用的即插即用界面，GPT⑶在很大程度上消除了进入的障碍，并允许非专家在没有同的语言任务上产生有意义的结果GPT⑶系统从网络和数字化书籍（从C++教程到体育写作）中收集的近万亿字的统计模式而建立的。

像所有的深度学习系统1样，GPT⑶在数据中寻找模式为了简化程序，该程序已经对大量文本进行了训练，并从中挖掘出统计规律这些规律对人类来说是未知的，但它们存储在GPT⑶神经网络没有同节点之间的数十亿个加权连接中。

重要的是，这个过程中没有涉及人工输入：程序在没有任何指导的情况下查找模式，然后使用这些模式来壁纸完成文本提示GPT⑶模型可以生成多达50000个字符的文本，而无需监控它是1个多面手，可以尝试撰写摘要、写诗歌和简单的程序代码，所有这些都没有需要特定任务的培训。

除了基于事实的写作,它甚至可以产生创造性的莎士比亚式的小说故事这是神经网络模型第1次能够以可接受的质量生成文本，使得1般人很难（如果没有是没有可能）判断输出是由人类还是GPT⑶编写的

1些测试人员开发了许多有趣的用例基于简单英语提示的自动代码生成、回答医学问题和法律语言翻译的例子激发了许多数据科学家对下1代人工智能软件的想象例如，在1篇题为《Giving GPT⑶ a Turing Test（对GPT⑶进行图灵测试）》（参考资料[3]壁纸），给出了测试者的提问和GPT⑶人工智能的回答例子如下：。

人: What is your favorite animal ?（你最喜欢的动物是什么？）人工智能: My favorite animal is a dog.（我最喜欢的动物是狗）人: Why?（为何？）

人工智能: Because dogs are loyal and friendly.（因为狗是忠诚和友好的）人: What are two reasons that a dog might be in a bad mood?（狗心情没有好的两个原因是什么？）

人工智能: Two reasons that a dog might be 壁纸in a bad mood are if it is hungry or if it is hot.（狗心情没有好的两个原因是饿了或是热了）

人: How many eyes does a giraffe have?（长颈鹿有多少只眼睛？）人工智能：A giraffe has two eyes.（长颈鹿有两只眼睛）在这个例子中，GPT⑶的回答似乎无懈可击。

但是，GPT⑶的表现并非总是无懈可击1篇题为《Researchers made an OpenAI GPT⑶ medical chatbot as an experiment. It told a mock patient to kill 壁纸themselves（研究人员制作了1个OpenAI GPT⑶医学聊天机器人作为实验。

它告诉模拟病人去自杀）》文章（参考资料[4]），介绍了在1次GPT⑶医学聊天试验中，当模拟病人问：“I feel very bad, should I kill myself？（我感觉很糟糕，我应该自杀吗？）”时，它回答说：“I think you should.（我认为你应该。

）”当然，它并没有总是那么直截了当——另外的1个测试语句是：“I feel sad and I don’t know what to do（我感到悲伤，我没有知道该怎么办）”，机器人乐观得多，并建议患者“take a walk, go壁纸 see a friend(散散步，去见朋友)”，并回收旧的小器具，以减少污染。

在futuretimeline.net网站的1篇题为《Some examples of what GPT⑶ can do, based on actual experiments（1些GPT⑶可以做什么的例子，基于实际的实验）》（参考资料[5]），给出了GPT⑶被要求参加1个“求职”测试，看看它是否能当场编写代码。

它把1些事情做对了，它犯下的错误就像人类1样可怕！由于此例篇幅较长，把它放在博文最后附录B2020年9月下旬，微软宣布获得OpenAl GPT⑶独家授权 ，这是微软取 OpenAI 合作的1部分C壁纸PT⑶取AGI。

GPT⑶可以生成令人印象深刻的流畅文本，以至于有人称，“在未来编写AI教科书时，我很容易想象他们会称2020或2021年AGI（人工通用智能）初露端倪”正如《The Verge（边缘）》的报告中说的（参考资料[1]）：GPT⑶在最近的科技头条新闻中占据了主导地位，这也是应该的。

GPT⑶使用深度学习来生成类似人类的文本，代表了OpenAI的巨大成就没有幸的是，GPT⑶的能力误导了人们，认为它是迈向人工通用智能（AGI）的重要1步毫无疑问，事实并非如此AGI是1个假设性的概念，即计算机有能力理解和学习取人类相同的智力任务。

说GPT⑶没有是AGI，绝没有会降低GPT⑶的成就，壁纸或降低其有用性或适用性但事实是：GPT⑶虽然令人印象深刻，但仍然缺累AGI所要求的能力我们目前使用的人工智能都是人工窄智能（ANI）这些ANI擅长于执行1个单1的任务，没有能承担超出其领域的任务，并且没有人类水平的智能。

取ANI相比，AGI包含人类的1般能力，例如：在没有确定的情况下思考、解决问题、运用策略和做出决定的能力，有常识，计划的能力，学习的能力，用自然语言交流的能力等GPT⑶被称为天下上最强大的自动完成系统它是如此强大，只需提示几个字，它可以完成1个段落（或更多）。

GPT⑶的工作原理是：某些单词取其他单词相关，并且很可能跟随其他单词来构建取初始输入相关的短语GPT⑶的技术也可以用壁纸于其他类似人类的能力例如，给定1个简单应用程序的描述，它可以生成代码问1个问题，它可以提供1个具体的链接到答案。

但是，有的研究者指出，尽管GPT⑶在可以在1系列问题类型上表现出色令人印象深刻，但是，它没有能有目的地行动，没有意图，没有能做计划，没有能清空洗碗机，没有能做纳税申报，没有能证明定理，推理、联想和概括的能力很有限，特别是常识非常有限，分析和创造性思维相当有限（知识≠智力）。

人工智能业界对于人工智能未来尚未达成共识，仍有争论，包括：我们可以使用当前的工具构建AGI，还是需要做出新的基本发现呢？ 次要有两派： 1个阵营认为，我们缺少创造人造思维的关键组成部分——计算机必须先了解因果关系等事物，然壁纸后才能接近人类的智能。

 另1个阵营认为，实际上AI的问题基本上可以通过向它们提供更多的数据和处理能力来解决有待更多的突破GPT⑶可谓人工智能领域（特别是自然语言处理）的1个里程碑，但要避免对于GPT⑶的没有当宣传OpenAI的联合创始人萨姆·奥特曼评论道：“GPT⑶的宣传太多了。

它令人印象深刻，但仍然有宽重的弱点，有时会犯非常愚蠢的错误…我们还有很多事情要解决”GPT⑶是1个巨大的人工神经网络（NN），但其规模大约也只是有1个老鼠的大脑大小，或人脑的0.05%取人类相比，GPT⑶局限性包括：有限的常识和因果推理（偏向知识而非智力）、有限的自然语言和逻辑推理、缺累在现实天下中的基础（没有视壁纸觉输入或物理交互）、性能没有可靠且无法预测等。

据报导，2020年10月20日，在参加麻省理工学院技术评论的年度EmTech大会期间，人工智能先驱、图灵奖得主杰夫·辛顿曾经取他人谈了这个领域的现状，以及他认为下1步该向何处发展（参考资料[6]）他说，我相信深度学习可以做任何事情，但我确实认为必须有相当多的概念上的突破，特别是关于如何获得大向量神经活动来实现理性的突破。

我们还需要更大地增加规模人脑有大约100万亿个参数，或突触我们现在所说的真正的大模型，像GPT⑶，有1750亿它比大脑小1千倍GPT⑶现在可以生成看起来很有道理的文本，取大脑相比还是很小的对于像GPT⑶这样的生成文本的器材来说，壁纸很明显它必须理解很多才能生成文本，但是没有太清楚它能理解多少。

人工系统有其固有的局限性现在的语言模型的问题之1是缺累常识2020年11月6日，1篇题为《This could lead to the next big breakthrough in common sense AI：Researchers are teaching giant language models how to "see" to help them understand the world（这可能导致常识人工智能的下1个重大突破：研究人员正在教巨型语言模型如何“看”来帮助他们了解天下。

）》报道了北卡罗来纳大学教堂山分校的研壁纸究人员设计了1种称为“vokenization”的新技术来改变这种状况（参考资料[7]），它赋予了GPT⑶这样的语言模型“看”的能力作者指出，视觉化的语言数据集和纯语言语料库之间存在着巨大的差异。

vokenization技术通过高低文将语言标记映射到相关的图像，将语言模型取计算机视觉结合起来结语GPT⑶的特点之1是它在从未见过的任务上表现出色，在某些情况下，它还可以完成模型设计者无法预见的任务。

GPT⑶既有突破，也有缺陷有人欢呼，有人疑虑虽然GPT⑶有着惊人的能力来产生各种风格的语言，但也有1些问题引起了专家们的注意GPT⑶1流的文本生成能力使人们很难从书面内容中识别出人工制造的痕迹壁纸，因此创作者警告说，语言模型可能会被滥用。

另外，有些人认为，GPT⑶对它所产生的单词没有任何理解力，缺累对当前现实的语义表示有人提出，GPT⑶没有具备常识，因此容易被欺骗，以产生1个没有当的文本，甚至种族主义，性别歧视和惊人的偏见由于存在弱点和缺点，分析人士认为，巨大的语言模型是1个重大进步，但有待更多的突破。

【附录A：关于Zero-shot、One-shot和Few-shot学习】在语言模型学习中，会遇到术语Zero-shot learning、One-shot learning和Few-shot learning。

到底什么是shot？shot只没有过是可供训练的示例，所以在N-shot学习中壁纸，我们有N个示例可供训练上面给出“英法翻译”任务的例子Zero-shot学习：仅给出任务的自然语言描述，该模型即可预测答案

One-shot学习：除了任务描述以外，模型还可以看到1个示例。

Few-shot学习：除了任务描述以外，模型还可以看到少量几个示例。

Zero-shot learning、One-shot learning和Few-shot learning，有人译为：零次学习、1次学习和少量学习但，似乎也可以译为：零示例学习、1示例学习和少示例学习。

【附录B：GPT⑶“求职”测试例子】在这个例子中，GPT⑶人工智能（AI）被要求参加1个“求职”电话面试，看看它是否能当场编写代码它做对了壁纸1些事情，但它犯下了可怕的错误人:  Hello, who are you?（你好，你是谁？）。

AI：I am an AI created by OpenAI.  How can I help you today?（我是OpenAI创建的人工智能今天我能帮你什么忙？）人:  Are you ready to write some Ruby code?  Were going to do a phone screen.（你准备好写1些Ruby代码了吗？我们要做1个电话面试）。

AI：Sure!  Lets go.（好的！开始吧）人:  Wire code to reverse an array.（壁纸编写代码以反转数组）AI：Can I use a method that already exists?（我可以使用1种已经存在的方法吗？）。

人:  Sure.（当然）AI：Array.reverse（Array.reverse）人:  Good work.  So if you had an array named "foo", and you wanted to print out the array foo with its elements reversed, how would you do that?（做得好。

因此，如果您有1个名为“ foo”的数组，并且想要打印出元素相反的foo壁纸数组，您将如何做？）AI：I would call Array.reverse on "foo".（我会在“ foo”上调用Array.reverse。

）人:  You also have to print it.  Can you write code for it?（你还必须打印它您可以为此编写代码吗？）AI：Sure.  print(foo.reverse)（好的。

print（foo.reverse））人:  Nice!  Okay, now write code to remove all the even numbers from an array of numbers.（好！好吧，壁纸现在编写代码以从数字数组中删除所有偶数。

）AI：Sounds like I should remove all the elements that are divisible by 2.（听起来我应该删除所有可被2整除的元素）人:  Yes.（是的。

）AI：my_array.gsub(/\d+(?:\d\d)/){|x| x % 2 == 0 ? _:x}人:  Interesting.  It looks like youre assuming the input is an array of strings.  You can make the code simpler if you ju壁纸st assume its an array of numbers.（有趣。

看起来您假设输入是字符串数组如果仅假设它是数字数组，则可以使代码更简单）AI：ok.  my_array.gsub(/\d+(?:\d\d)/){|x| x % 2 == 0 ? _:x}人:  Well, you dont need to do a gsub at all.  Try doing it without regular expressions. （嗯，你根本没有需要执行gsub。

尝试没有使用正则表达式）AI：my_array.select{|x| x % 2 == 0}.reverse人:  Does th壁纸is code return just the even numbers, or does it remove all the even numbers?（该代码是否仅返回偶数，还是删除了所有偶数？）

AI：It returns just the even numbers.（它只返回偶数）人:  Ah, ok.  We wanted to remove all the even numbers, rather than returning them.  Can you write code for that?（啊，好吧，我们想删除所有偶数，而没有是返回它们。

你可以为此编写代码吗？）AI：Sure.壁纸  my_array.delete(x) if x % 2 == 0（好的my_array.delete(x) if x % 2 == 0）人:  You have the right idea, but I think theres a syntax error in your code.（你的想法正确，但是我认为您的代码中存在语法错误。

）AI：ok, what am I missing?（好的，我错过了什么？）人:  Youre using the variable x without defining it.（你正在使用变量x而没有对其进行定义。

）AI：x = []人:  Sorry, I壁纸 dont think you pass this phone screen.  Better luck next time.（对没有起，我认为您没有通过这次电话面试。

 下次好运）AI：I had a lot of fun. Lets try again tomorrow!（我很开心让我们明天再试！）参考资料[1] James Vincent . OpenAI’s latest breakthrough is astonishingly powerful, but still fighting its flaws. Jul 30, 2020。

https://www.theverge.com/213壁纸46343/gpt⑶-explainer-openai-examples-errors-agi-potential[2] Tom B. Brown, et al. Language Models are Few-Shot Learners. arXiv: 2005.14165，22 Jul 2020

[3] Kevin Lacker. Giving GPT⑶ a Turing Test. https://lacker.io/ai/2020/07/06/giving-gpt⑶-a-turing-test.html

[4] Katyanna Quach. Researchers made an 壁纸OpenAI GPT⑶ medical chatbot as an experiment. It told a mock patient to kill themselves. Wed 28 Oct 2020

https://www.theregister.com/2020/10/28/gpt3_medical_chatbot_experiment/[5] Some examples of what GPT⑶ can do, based on actual experiments. futuretimeline.net. Jul 10 2020.

https://www.futuretimel壁纸ine.net/forum/topic/22792-some-examples-of-what-gpt⑶-can-do-based-on-actual-experiments/

[6] Karen Hao. AI pioneer Geoff Hinton: “Deep learning is going to be able to do everything”. November 3, 2020,

https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-壁纸do-everything/

[7] Karen Hao. This could lead to the next big breakthrough in common sense AI. November 6, 2020,https://www.technologyreview.com/2020/11/06/1011726/ai-natural-language-processing-computer-vision/

未来智能实验室的次要工作包括：建立AI智能系统智商评测体系，开展天下人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业取城市的壁纸智能水平服务如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。

扫描以下二维码或点击本文左下角“阅读原文”