每天，人们都在不断探索世界。每天都有无数新的想法诞生。有了这些新想法，每天，人们都在把挑战变成机遇。

世界正在迅速变化。下一个想法是什么？下一个机会在哪里？

近日，ARK Invest发布了2021年《大创意2021》报告，强调了创新领域的最新发展，提供了今年最具颠覆性的研究。

3D打印是另一个潜在的干扰因素。ARK估计，3D打印将彻底改变制造业，并以每年60%左右的速度增长，从去年的120亿美元增长到2025年的1200亿美元。

13.长阅读测序

图|深度学习是软件2.0

报告认为，深度学习正在创造下一代计算平台，包括:

智能对话平台:在人工智能的支持下，2020年智能音箱接听语音指令1000亿条，比2019年增长75%；

无人驾驶汽车:Waymo的自动驾驶汽车已经在25个城市收集了超过2000万英里的真实世界里程；

消费者应用:使用深度学习进行视频推荐的抖音的日常生活比Snapchat和Pinterest加起来还要多。

图|深度学习正在创造下一代计算平台

ARK指出，尽管硬件和软件都在进步，人工智能的培训成本每年降低37%，但人工智能模型的规模仍在以每年10倍的速度增长，比培训成本的降低速度还要快。因此，人工智能培训的总成本不断上升。我们认为，最先进的人工智能训练模型的成本可能会增加100倍，从目前的约100万美元增加到2025年的1亿美元。

图|深度学习需要无限的计算能力

深度学习也将在人工智能芯片领域创造繁荣。ARK估计，未来五年，数据中心在人工智能处理器上的支出将翻两番以上，从目前的每年50亿美元增长到2025年的220亿美元。

图|深度学习正在创造AI芯片的繁荣

同时，ARK预测人工智能将从视觉扩展到语言。报告指出，2020年是会话式AI取得突破的一年。人工智能系统第一次可以像人类一样准确地理解和生成语言。对话式AI需要的计算资源是计算机视觉的10倍，未来几年将刺激相关领域的大量投资。

图| AI正在从视觉扩展到语言

也许报告中最大胆的估计是，深度学习可以创造比互联网更大的经济价值。

图|深度学习可以创造比互联网更大的经济价值

引起关注的GPT 3号

除了以上内容，GPT-3将在《大创意2021》深度学习部分的单独页面中介绍。

报告显示，AI的各个领域都在进步，自然语言处理和深度学习是AI发展最快的部分。GPT-3是这一领域最新的趋势引领者，自出现以来就成为各大社交媒体讨论的话题。

图| OpenAI的GPT-3是第一个能够真正“理解”语言的AI

GPT是由人工智能研究实验室OpenAI创建的自动回归语言模型，它使用深度学习生成类人文本。GPT-3是GPT系列的第三代产品，被认为是迄今为止创造的最大的人工神经网络。这一系列机型的工作模式类似于手机中的自动完成功能，可以尝试预测人们在输入时缺少的问题。

2019年，OpenAI发布了15亿参数的GPT-2，这是第一个超过10亿参数的自然语言模型，在当时被认为是一个惊人的壮举。仅仅一年后，OpenAI发布了GPT-3，参数高达1750亿。GPT-3的诞生颠覆了人们现有的认知。

GPT-3可以生成推文、写诗、总结电子邮件、回答琐碎的问题、翻译语言，甚至编写计算机程序。在这个过程中，它只用几个小技巧就能完成这些任务，有些技巧甚至让专家们大吃一惊。

虽然之前的语言模型工作方式类似，但GPT-3可以做之前模型做不到的事情，比如编写自己的计算机代码。更重要的是，它可以只用几个例子来准备一个特定的任务，而不是像它的前辈那样需要成千上万个例子和几个小时的额外训练。

为推动我国自主大规模预训练模式的研发，北京智源人工智能研究院、阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗、智普AI、循环智能等科研骨干组成“启蒙”联合研究团队。新的超大规模预培训模式研发项目“启蒙”启动，包括四类大规模预培训模式:

来源:以汉语为核心的超大规模预训练语言模型；

文慧:面向认知的超大规模新预训练模式；

温岚:超大规模多模态预训练模型；

超大规模蛋白质序列的预训练模型。

其中，文远:以汉语为核心的超大规模预训练语言模式。2020年11月14日发布26亿参数的中文语言模型一期；文慧:2021年1月11日发布了新的面向认知的超大规模预训练模型。文慧模型的参数规模为113亿，仅次于DALL E模型的120亿参数。是目前国内最大的预培训模式，与国际领先的预培训技术实现了并行运行。

下一步，“五道”团队将加快四类大规模预训模式的研发。特别是“文慧”模型将着眼于提高未来在多语言多模态条件下完成开放对话、基于知识的问答、可控文本生成等复杂认知推理任务的能力，使其更接近人类水平。

身处科技创新时代，一行行代码、一串串数字背后蕴藏着无穷的力量。正如《大思路2021》报告所言，深度学习可以创造比互联网更大的经济价值，未来15-20年将为股市增加30万亿美元的资本。以GPT-3为代表的AI前沿发展方向，也将开启新的智能时代。

参考文献:

https://ark-invest.com/big-ideas-2021/

https://www . zdnet . com/article/disruption-innovation-2021-这15个大创意最有可能改变世界/

https://www . analyticsvidhya . com/blog/2021/01/GPT-3-未来的基础/