性动态图3op 一文看尽飞桨九大重磅发布 加速AI工业大生产

栏目:教育 2021-09-20 00:50:32
分享到:

智慧的东西

作者|心缘

编辑|沙漠阴影

五一假期的第一天,很多从北京西站出发的乘客都感到很难受。

京广高铁突然停运,多趟高铁列车晚点,大量旅客滞留车站,但发车时间却不见踪影。而罪魁祸首更是无语——风把塑料薄膜吹到高铁接触网,造成停电。

不仅是塑料薄膜,任何像风筝、气球和孔明灯笼这样的飞行物体,如果挂在接触网上,都可能威胁到高铁的安全。

怎样才能避免这样的“骗人”呢?

传统人工巡检存在劳动强度大、作业效率低、存在安全隐患、原始数据无详细记录等问题。智能检测已经成为必然的发展趋势。

成都郭铁电气股份有限公司开发了一套基于百度飞桨开发套件的轨道在线智能检测系统,可全天候实时监测轨道缺陷。

名单还在继续。在国民经济和民生的许多领域,如城市、工业、电力、通信等。,人工智能被广泛渗透到经济生产活动的主要环节,而百度划桨平台就是其中最常见、最关键的人物。

作为中国第一个自主研发、功能齐全的工业级开源深度学习平台,百度飞桨正在快速成长。百度首席技术官、深度学习技术与应用国家工程实验室主任王海峰透露,飞桨截至目前已聚集320万开发者,同比增长近70%,服务超过12万家企事业单位。

然而,飞桨显然永远不会满足于现有的成就。在周四举行的WAVE SUMMIT 2021深度学习开发者峰会上,百度为AI开发者带来了一份大“520”礼包——

百度不仅首次分析了“融合创新”趋势下AI工业化量产的实现路径,还一举带来了飞桨开源框架V2.1、大规模地图检索引擎、文心ERNIE等9款飞桨的最新发布和全平台升级。预训练模型、推理部署导航图、硬件生态成果、云原生机器学习核心PaddleFlow、测量桨和螺旋桨升级,以及飞桨“大航海”计划等都全面启动,其中帆船、

飞欧尔还联合发布了飞欧尔开源生态发展报告《飞欧尔凝聚创新、开源创造新产业机器》,全面诠释了深度学习开源框架的时代价值。

沿着集成创新、降低门槛的主轴,百度飞桨正在成长,加速国内开源生态和智能产业的繁荣。

一、飞桨最新的六大产品技术发布:开源框架升级适配31个芯片或IP

百度飞桨团队发布的最新六大重要动态,涵盖AI开发、训练、部署的核心环节,带来AI开发体验的全面优化。此外,用于飞行螺旋桨的生物计算框架PaddleHelix和用于测量螺旋桨的工具组件Paddle Quantum也进行了迭代升级。

飞桨开源框架进入2.0时代后,实现了动静态的统一设计,更好地结合了“科研开发灵活性”和“产业特性”,飞桨框架、产业模型库、开发套件、工具组件和企业AI开发平台都迎来了一波迭代的技术升级,充分满足了不同类型开发者的需求。

1.飞桨开源框架V2.1:四大技术亮点

飞桨开源框架V2.1版本集成了自动混合精度优化、动态图函数增强、高级API和自定义OP函数优化四大技术亮点。具体来说:

自动混音精度功能优化:启动后,训练速度可提升3倍。

动态图功能增强:增加就地操作功能,实现视频内存自动复用,视频内存占用减少17.7%;优化Python/C++交互开销,即时执行效率提升11%。

高级API:对GPU预处理、混合精度和模型共享机制的新支持。

自定义OP函数优化:封装简洁的C++扩展API系统,打通训练和推理,为用户提供一键API进行编译、安装和生成操作符,简化编译和使用过程。

有了这些技术升级,Flying Paddle开源框架的V2.1版本将打造一个更加开放、可扩展的算法平台。

2.大规模图检索引擎的发布:支持万亿图

在训练方面,百度的大规模图检索引擎支持万亿边分布式存储检索和训练,支持线性扩展,具有更强的工业场景应用特性。

比如在网易云音乐主播推荐应用中,冷启动存在场景新、数据少的问题,使得模型训练困难。利用大规模Graph检索引擎和分布式训练,通过引入来自其他场景的数十亿规模数据和图结构构建图关系网络,可以解决冷启动问题,从而提高主播推荐场景的有效播放率。

3.Wenxin ERNIE的四个预训练模型都是开源的

在开发套件层面,百度宣布Flying Paddle语义理解套件ERNIE的四个预训练模型开源,在知识增强的语义理解和跨模态语义理解上进一步取得突破。

其中,ERNIE-Gram通过引入多粒度语言知识,引领五大典型中文文本任务;ERNIE-Doc是一个超长文本的双向模型,领先于理解超长文本的13个任务。ERNIE-ViL是融合场景知识的跨模态预训练模型,领先于5个跨模态任务;ERNI-UNIMO在13项跨语言和视觉任务中处于领先地位。

4.推理部署工具链升级,并飞桨推理部署导航地图发布

飞桨多平台推理部署工具链中的很多工具都是新升级的。

首先是PaddleSlim,对模型进行压缩升级,兼顾模型精度和加速比,进一步提高了精度、易用性、通用性和可移植性。

一方面,PaddleSlim优化了剪枝压缩技术,增加了非结构化稀疏工具,用户只需调用3行代码就可以灵活定义稀疏索引。

另一方面,结合多种压缩策略的优势,PaddleSlim率先支持OFA压缩模式,只训练一个超级网络就可以产生无需再训练的多终端部署压缩模型。比如可以将GAN机型体积缩小97%,CPU加速508%。

Paddle Lite也进行了全面升级,更加稳定易用。它增加了开箱即用的移动开发工具LiteKit,支持ARMv8.2 FP16指令计算,可减少推理延迟40%以上。同时,OpenCL经过充分优化,在移动GPU上的性能一般提升10%~70%。

目前,Paddle Lite支持英特尔、NVIDIA、瑞芯微、华为、Arm中国、联发科、腾飞、寒武纪、Bitland、安巴、畅想等多个硬件平台。

Paddle Serving增加了全异步设计的Pipeline模式,支持多模型组合部署。一个服务可以启动10+模型,打破串行设计的限制,从而提高吞吐量。

新升级的Paddle.js兼容性高,完全支持飞行板框架V2。x,并支持各种后端和主流的细分和分类模型。在优化性能方面,Paddle.js支持WebGL Pack功能,FP16模型格式可以将人像分割模型的推理时间减少22.3%。

此外,该工具采用前端模型加密解决方案,确保离线加密、访问控制和操作控制。

目前飞桨已经覆盖了300多条经过充分验证的推理部署路径,形成了如图所示的导航图,可以帮助开发者从头到尾实现完整的AI部署。

这被百度称为帮助开发者打通AI应用的“最后一公里”。每次“打通”,都有迹可循,每次“打通”,都可以回到源头。

5.硬件生态成就:完成或适配31个芯片或IP

截至2021年5月,飞桨硬件生态已与国内外22家硬件厂商进行适配和联合优化,31款芯片或ips已完成并正在适配。

飞桨的硬件生态持续繁荣,英特尔、NVIDIA、Arm等国际芯片厂商都主动在开源社区为飞桨贡献代码。飞桨还与腾飞、神威、广海、鲲鹏、龙芯、赵信等国产CPU深度融合。,并与麒麟、同心、普华的操作系统,以及百度昆仑、广海DCU、寒武纪、华为瑞星、比特兰德、登临、瑞芯微、高通、苹果、联发科等AI芯片深度融合。

6、云原生机器学习核心PaddleFlow开放邀请测试

PaddleFlow是飞桨企业版“一核两翼”AI开发平台的“核心”。是专门为AI平台开发者设计的云原生机器学习核心系统,易于集成。

它具有云原生、高性能、轻量级和易于使用的特点。它为人工智能平台开发人员提供核心能力,并为更细分的场景和深度定制的人工智能平台赋能。

目前PaddleFlow兼容K8S/K3S、x86/Arm CPU、GPU以及各种AI加速芯片,支持上万张计算卡调度、数千个并发作业和大规模并行训练。而且安装包不到1GB,一键安装部署即可。

PaddleFlow现已正式开放合作,其核心技术即将开源。

在“两翼”中,飞桨企业版EasyDL零门槛AI开发平台面向AI应用开发者,不断升级全流程自动建模机制,包括场景自动适配优化、模型自动评估和辅助诊断,进一步提升AI应用效率。

也就是说,用EasyDL进行AI开发,就像用全自动数码相机拍照一样简单易用。用户不需要知道基本原理,只需要关注主题和构图。

飞桨企业BML全功能开发平台面向AI算法开发者,提供Notebook建模、可视化拖拽建模、预置模型开发、Pipeline建模等灵活全面的开发建模方式,可满足不同定制场景的需求。

其中,BML预设模型开发基于预训练低代码建模。通过选择67套模型和网络组合,可以节省核心建模阶段80%左右的开发时间。

7.推进器和推进器升级:加速新药研发和量子应用

用于飞桨的螺旋桨生物计算框架PaddleHelix和用于测量桨的量子机器学习框架Paddle Quantum也进行了新的升级。

具有疫苗设计、新药研发、精准医疗等AI能力的推进器PaddleHelix,增加了化合物分子预训练模型ChemRL,以及基于预训练模型的下游ADMET、虚拟筛选等任务,以及基于序列的分子生成任务和包含预训练模型的计算平台。

Paddle Quantum可以帮助开发者方便地开发量子AI应用,并且可以用版本2进行更新。飞桨框架的x。它可以将核心应用场景的整体运行速度平均提升21.9%,最高提升40.5%。

它的新功能包括适配最近的量子器件,增加量子核方法和其他特征提取方法,通过量子近似优化旅行商问题,以及分发量子信息处理模块。与原纠缠纯化方案相比,优化后的量子纠缠处理框架提高了20%。

第二,投资15亿元!飞桨“大航海”计划全面启动

“大航海”计划全面启动,包括航行、引航、护航三大计划,未来三年总投资15亿元。

飞桨“大航海”的航行计划,预计总投资5亿元,与全国500所高校深度合作,共同培养5000名AI教师,帮助培养50万AI学生。

飞桨还增加了开启50+教学的实际案例,如人体关键点检测、新能源汽车锂电池隔膜质检等。到7月底,AI课程累计开放案例将超过100个,配套实践教材即将发布。

为进一步深化产教融合,飞欧尔推出“AI人才融合培养计划”,在高校提供全面实用的AI人才培养方案,包括AI Studio教学平台、免费计算能力、工业案例与数据集、专项合作等。

飞桨“大航海”领航计划以PPDE飞桨开发者技术专家、PPSIG特别兴趣小组、飞桨领航小组为主要组织形式,与行业内优秀开源社区、开源项目合作,系统建立研究和R&D方向,与优秀开发者、优秀开源社区合作,构建深度学习和开源生态,共同探索AI前沿领域。截至目前,已认证120个PPDE、12个PPSIG、150个飞桨城市/大学试点群。

飞桨“大航海”护航计划未来三年将投入10亿元,从技术赋能、人才赋能、生态赋能等方面支持10万家企业智能化升级,与行业共同培养数百万AI人才。

百度还推出了2021引力计划,提供1亿元专属现金券和最佳实践教程,帮助企业打造AI能力。

峰会期间,飞欧尔与清华大学基础产业培训中心、吉林大学创新创业实验室、郑州大学人工智能工程应用实验室等三所高校创新创业实验室签约,将共同推进产学研一体化。

此外,百度联合ICT研究院发布了生态发展报告《飞桨聚力创新·开源共创产业新机》,全面解读深度学习和开源框架的时代价值,正式宣布将联合举办人工智能创新应用大赛——开源框架前沿模型再生产大赛。

第三,解读企业应用AI的三个阶段:AI先锋探索、AI车间应用、AI产业化生产

除了详细讲解飞桨平台的重要升级,百度集团副总裁、深度学习技术与应用国家工程实验室副主任吴添还分享了飞桨与产业伙伴合作过程中观察到的AI企业应用的三阶段路径:一是AI先行者探索之路,二是应用到AI车间,最后实现AI产业化量产。

在AI先锋寻路阶段,企业中的少数先锋尝试引入AI,需要模型、调优工具和部署支持来适应场景,从而实现AI算法的快速验证,解决实际问题。

在这方面,百度蒋菲积累了覆盖多个领域的行业级模型库、多端多平台的推理部署工具链、全面灵活的硬件适配架构和生态基础,为AI先行者成功探索之路提供了便利。

在AI工坊的应用阶段,团队中会有少量专业的AI R&D,不同专业背景的成员要一起快速学习AI模型R&D。企业开始对模型研发的深度有了不同层次的需求,飞桨具备了从便捷易用的可视化界面、完全可复用的场景套件、灵活高效的算法套件、丰富全面的模型库到动静态统一的核心框架的一切,非常适合现阶段团队应用AI创新。

AI工业大规模生产阶段的典型特征是多人多任务协同生产,而计算机器和开发人员的效率提升是关键。飞桨企业AI开发平台不仅可以实现高效的计算能力管理和调度,还可以提供全流程的集成开发环境,满足各种AI开发需求,加速AI产业的量产进程。进一步发展,从企业内部的多人多任务分工,也将走向全社会的AI量产协同。

总的来说,在这三个阶段,飞桨从核心框架、模型库到开发套件、工具组件、AI开发平台,积累了丰富的技术、产品、功能和服务,支持合作伙伴克服各阶段AI应用的困难。

结论:整合创新,降低门槛,走AI工业化生产之路可能不远了

在加速产业智能化的过程中,稳坐国内开源AI生态前列的百度飞桨,见证了国内AI产业的全面量产。

从打造国内开源深度学习框架到与国际主流框架角力,百度蒋菲不断产出更多符合产业需求的新技术、新产品、新功能、新方案,不断丰富优化自身服务和生态,筑牢支撑科技创新和产业智能化发展的AI软件基石。

传统行业AI落地的号角刚刚吹响。在集成创新、降低门槛的趋势下,国内有相当多以飞桨为代表的AI基础平台可以发挥价值空。走AI工业化大生产之路可能不远了。