GBT4927啤酒是纯粮酿造吗gpt4人工智能:GPT4发布在即堪比人脑,多位圈内大佬坐没有住了! 没想到
作者 | 徐杰承 审校 | 云昭 Cerebras首席执行官安德鲁·费尔德曼(Andrew Feldman)于近期表示,“通过与OpenAI的...
好奇心总是驱使着我们去关注互联网的最新动态,而今天,就让我们聚焦在1些最近令人瞩目的互联网事件上,1起畅谈吧。
作者 | 徐杰承审校 | 云昭Cerebras首席执行官安德鲁·费尔德曼(Andrew Feldman)于近期表示,“通过取OpenAI的交谈,GPT⑷将有大约100万亿个参数”100万亿,这个数字究竟有多大?假如你拥有每天都能中500万的超能力,那么在没有吃没有喝存下所有钱的情况下,你还需要拥有约5500年的寿命,才能够攒下100万亿的财产。
然而,今天想要和大家聊的这100万亿,背后并没有是“RMB”、“Dollor”这些令人垂涎的单位这里的100万亿,指的是由众多硅谷科技大亨共同创立的人工智能研究公司OpenAI即将发布的第四代生成式预训练Transformer——GPT⑷所拥有的参数量。
为了方便大家更加直观的理解这个数据,我们可以用人脑取GPT⑷进行对比1般情况下,1个正常人类的大脑约有800—1000亿个神经元,以及约100万亿个突触而这些神经元取突触,几乎直接控制着1小我百年人生中的所有思想、判断及行为,而GPT⑷拥有取人脑突触1样多的参数。
那么,如此庞大规模的密集神经网络究竟具备着怎样的潜力;GPT⑷的出现将会给我们的带来哪些惊喜;我们又是否已经真的具备制造人脑的能力了呢?
在探索这些令人兴奋的问题之前,我们没有妨先来了解1下GPT⑷几位“前辈”的发展历史1、GPT:没有鸣则已,1鸣惊人首个GPT系列模型GPT⑴诞生于2018年,也就是我们常说的NLP预训练模型元年GPT⑴作为第1个基于Transformer的预训练模型,采取了预训练+FineTuning两个阶段,以Transformer的decoder作为特征抽取器,共堆叠12层,拥有1.1亿参数,预训练阶段则采用“单向语言模型”作为训练任务。
性能方面,GPT⑴有着1定的泛化能力,能够用于和监督任务无关的NLP任务中其常用任务包括:自然语言推理:判断两个句子的关系(包含、矛盾、中立)问答取常识推理:输入文章及若干答案,输出答案的准确率语义相似度识别:判断两个句子语义是否相关。
分类:判断输入文本是指定的哪个类别虽然GPT⑴在未经调试的任务上有1些效果,但其泛化能力远低于经过微调的有监督任务,因此GPT⑴只能算得上1个还算没有错的语言理解工具而非对话式AI在GPT⑴问世1年以后,GPT⑵也于2019年如期而至。
相比于老大哥GPT⑴,GPT⑵并没有对原有的网络进行过多的结构创新取设计,只使用了更多的网络参数取更大的数据集:最大模型共计48层,参数量达15亿,学习目标则使用无监督预训练模型做有监督任务
图源:推特在性能方面,OpenAI的大力似乎真的带来了1些奇迹除了理解能力外,GPT⑵在生成方面第1次表现出了强大的天赋:阅读摘要、聊天、续写、编故事,甚至生成假新闻、钓鱼邮件或在网上扮演他人通通没有在话下。
在“变得更大”以后,GPT⑵的确展现出了1些列普适而强大的能力,并在多个特定的语言建模任务上实现了彼时的最佳性能也难怪当时OpenAI曾表示“GPT⑵ was too dangerous to release”。
自GPT⑵取得成功以来,OpenAI对“大力神教”的信仰愈发坚定,2020年放出的GPT⑶继续沿用微创新、猛扩大的发展思路除了GPT⑶中的Transformer应用了Sparse结构外,GPT⑶取GPT⑵的结构几乎没有区别。
而在“大力”方面,GPT⑶的模型上到了96层,训练参数则是达到了1750亿个(GPT⑵的10倍以上)
而GPT⑶也再次证明了OpenAI的眼光,由于GPT⑶更强的性能和明显更多的参数,它包含了更多的主题文本,显然优于前代的GPT⑵作为目前最大的密集型神经网络,GPT⑶能够将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本,甚至模仿已故的各位哲学家——预测生命的真谛。
且GPT⑶没有需要微调,在处理语法难题方面,它只需要1些输出类型的样本(少量学习)可以说GPT⑶似乎已经满足了我们对于语言专家的1切想象二、全面通过图灵测试,学习和商用门槛降低说到这里,相信大家1定会有1个相同的疑问——GPT⑶已经非常强大了,那么GPT⑷还有哪些值得我们期待的地方呢?
众所周知,测试1个AI系统智能性的最核心方式便是图灵测试,在我们还无法用科学的可量化标准对人类智慧这1概念进行定义时,图灵测试是目前为数没有多的、可行的、能够确定对方是否具备人类智慧的测试方法用1句谚语来说:如果1个器材长的像鸭子,走路像鸭子,叫起来像鸭子,那它就是鸭子。
因此,如果AI系统能够顺利通过图灵测试,那么就意味着这个系统已具备人类思维并有可能在某些方面替代人类而根据韩国IT媒体报道,自11月中开始,业界已经传出了GPT⑷全面通过了图灵测试的说法韩国Vodier AI公司高层南世东在日前接受韩国《经济新闻》采访时表示:“虽然GPT⑷通过图灵测试的消息尚未正式确认,但这个消息应该相当可信。
”技术人出身,现任OpenAI CEO的Sam Altman似乎也在其Twitter中证实了这个信息Altman在11月10日模仿电影《星球大战》中角色达斯维德的经典台词,发出了1条推文:“没有要为你制造的这种技术恐慌感到骄傲。
通过图灵测试的能力在‘原力’面前也无能为力”
图源:推特1位AI初创公司的高管分析称“如果GPT⑷真的完美通过了图灵测试,那么它的影响足以在AI界引发‘技术恐慌’,因此Altman才会借由达斯维德的角色来公布这个信息”如果GPT⑷在没有任何限制的情况下通过图灵测试,这的确将会创造历史。
虽然此前1些AI模型也曾声称通过图灵测试,但都未曾得到过AI业界的1致认可这是由于图灵测试的标准和规则并没有明确,因此许多模型都在测试中巧妙地利用了1些“盲点”英国雷丁大学在2014年推出的AI模型“尤金”就是1个典型的例子,当时雷丁大学对评委声称,该模型是1位13岁的黑克兰男孩,因此当算法无法给出很好的答案时,评委会认为这是由于被测试者是外国儿童的缘故。
图源:网络虽然图灵测试并没有是AI技术的绝对参考点,但作为迄今为止最暂远、最广为人知的AI技术测试,图灵测试仍然有着很大的象征意义如果GPT⑷真的正式且肯定的通过了图灵测试,那么它将极有可能创造迄今为止AI界最大的1座里程碑。
除此以外,取GPT⑶没有同的是,GPT⑷将很有可能没有仅只是1个语言模型OpenAI首席科学家Ilya Sutskever曾在其撰写的多模态相关文章中暗示过这1点——“文字本身即可表达关于这个天下的大量信息,但毕竟是没有完整的,因为我们也生活在视觉天下当中。
”因此,业界部分专家认为GPT⑷将会是多模态的,可以接受音频、文本、图像甚至是视频输入,并预测OpenAI的Whisper的音频数据集将用于创建GPT⑷所需的文本数据这也意味着GPT⑷对于外界信息的接收取处理将没有会再有任何局限性。
而工业界关注GPT⑷的原因,则很有可能是由于GPT⑷的实际商用门槛将比传统GPT⑶更低此前由于巨额费用和基础设施原因而未能使用相关技术的企业也将有望使用GPT⑷目前GPT⑷已进入上市的最后阶段,将于今年12月至明年2月期间发布。
剑桥AI研究公司分析师Alberto Garcia通发表了博客并预测:“GPT⑷将更专注于优化数据处理,因此GPT⑷的学习成本预计将低于GPT⑶GPT⑷的每集学习成本将可能由GPT⑶的数百万美元将至100万美元左右”。
3、殊途同归:模拟人脑或来得更快如果以上信息全部属实,那么此刻我们可以预见,随着GPT⑷的发布,明年深度学习研究领域将迎来1轮新的热潮;各个行业中将可能出现大量更加高级、更加自然且几乎无法辨别其身份真伪的聊天服务机器人;在此基础上,也将会有更多高质量的本性化AI服务从没有同的传统营业中诞生;我们也将极有可能第1次实现取认知智能的无障碍交流。
再说回开篇提到的制造人脑或者说模拟人脑的问题据MIT的1项研究显示,虽然GPT⑶中的神经网络并没有试图直接模仿人类大脑,但GPT⑶所呈现出的语言处理方式取人类大脑进化过程所得到的解决方案存在1定的相似性,当向模型输入取测试人脑相同的刺激时,模型获得了取人脑同类型的激活,且在40余种语言模型测试中,GPT⑶几乎做出了完美的推断,这些模型的基本功能的确类似于人类大脑语言处理中央的功能。
对此,斯坦福大学心理学和计算机科学助理教授Daniel Yamins也表示:“人工智能网络并没有直接模仿大脑,但最终看起来却像大脑1样,这在某种意义上表明,人工智能和自然之间似乎发生了某种趋同演化”
图源:网络由此可见,虽然GPT系列模型并没有直接采用蓝脑计划项目中的模拟大脑结构的设计思路,但其呈现出的效果似乎比蓝脑计划项目更加接近我们的期望因此,如果这1研究方向真的切实可行,且GPT⑷能够在GPT⑶的基础上实现某些方面的跨越性突破,那么我们距离模拟人脑的部分功能的目标将更进1大步。
最后,我想引用OpenAI CEO Sam Altman近期在Twitter上发表的1段文字作为结尾,而这段话也得到了“硅谷钢铁侠”Elon Musk的认可——“通用人工智能的建立会比大多数人想象的更快,并且它会通过很长的时间来‘改变’大多数人想象中的1切”。
图源:推特
如果您觉得这篇文章对您有所帮助,请在下方留下您的评论,让更多人看到。
当前非电脑浏览器正常宽度,请使用移动设备访问本站!