当前位置：网站首页>AI首席架构师8-AICA-高翔 《深入理解和实践飞桨2.0》

AI首席架构师8-AICA-高翔 《深入理解和实践飞桨2.0》

2022-06-28 08:05:00 【愚昧之山绝望之谷开悟之坡】

1、介绍

在这里插入图片描述
目录
在这里插入图片描述
纵向，硬件和开发中，横向，学术界和产业界
在这里插入图片描述
历史
在这里插入图片描述
产业落地和开发者来优化
在这里插入图片描述

2、深入理解

最关心的问题
在这里插入图片描述
对应
在这里插入图片描述

2.0可用性

在这里插入图片描述
动静结合，基础和高层API
在这里插入图片描述
tensor计算
在这里插入图片描述
组网便捷
在这里插入图片描述
高层组网
在这里插入图片描述
基础和高层的融合
在这里插入图片描述
动态图模式
在这里插入图片描述
编程范式演变，cuda、静态图、动态图
在这里插入图片描述
动静转换
在这里插入图片描述
控制流对比
在这里插入图片描述
开发效率高，部署效率低，静态图提前组网，优化网络结构
在这里插入图片描述
动静转换
在这里插入图片描述
模型保存和加载，动态图代码构建网络结构，静态图可以直接保存网络结构
在这里插入图片描述
开发推理流程
在这里插入图片描述

2.1分布式训练

在这里插入图片描述
挑战
在这里插入图片描述
大规模分布式训练
在这里插入图片描述
数据并行，张量模型并行-把张量的参数分布下去，流水线并行-网络结构拆分，分组参数并行在模型并行的基础上切的更细
在这里插入图片描述
集合通信和参数服务器，去中心和有中心
在这里插入图片描述
如何配置分布式训练
在这里插入图片描述
集合通信跟更简单
在这里插入图片描述
组合并行训练，文心大模型
在这里插入图片描述

2.2硬件匹配移植方便

在这里插入图片描述
硬件生态，CPU，GPU训练，GPU推理（服务端，移动端，网页端），FPGU
在这里插入图片描述
硬件测试适配架构图
在这里插入图片描述
部署优势
在这里插入图片描述

2.4更新迭代方便，算法模型库完整

在这里插入图片描述

3、算子开发

在这里插入图片描述
算子编写，前向反向
在这里插入图片描述
写完算子对齐后，进行编译
在这里插入图片描述
使用自定义的算子
在这里插入图片描述

QA:

明确框架的底层的原理和思想

原网站

版权声明
本文为[愚昧之山绝望之谷开悟之坡]所创，转载请带上原文链接，感谢
https://blog.csdn.net/qq_15821487/article/details/125492050

边栏推荐

猜你喜欢

随机推荐