深度学习工程师认证初级教程

本书作为深度学习工程师初级认证官方教材,将深度学习理论基础与平台操作有机结合,从算法到实战,涵盖数学基础、Python基础、机器学习、深度学习算法和基于飞桨框架的深度学习平台实战及行业应用案例。本书帮助读者快速了解、理解、掌握机器学习、深度学习的基础和前沿算法,并获得深度学习算法实战经验,有效提高读者解决实际问题的能力。通过本书,读者可以掌握深度学习的核心算法技术;掌握面向不同场景任务的深度学习、强化学习应用技术;熟悉不同深度神经网络的拓扑结构及应用;熟悉前沿深度学习的热点技术,把握深度学习的技术发展趋势;提升解决深度学习实际问题的能力。

本书作为深度学习工程师初级认证官方教材,将深度学习理论基础与平台操作有机结合,从算法到实战,共分6章,第1~4章主要介绍专业知识,包括数学基础、Python基础、机器学习和深度学习等基础知识;第5章面向工程实战能力的训练,介绍深度学习开发平台,特别是飞桨开发平台的实战案例;第6章面向业务理解与实践能力的提升,介绍深度学习在各个行业的应用案例。

本书适合人工智能领域的工程师、研发人员,在校大学生、研究生,跨领域转AI从业者,以及对深度学习人工智能感兴趣的读者使用。

本书提供配套教学内容,详情请访问:https://aistudio.baidu.com/。

潘海侠 北京航空航天大学教授 ，参与过多个机器智能、ERP系统、物流系统、CRM系统的设计与开发；主要研究方向包括：人工智能、模式识别、计算机视觉与图像处理、软件工程、项目管理。

杨晴虹 北京航空航天大学教授，博士，硕士生导师。主要研究领域，知识挖掘，大数据分析，项目管理，科研管理； 北航软件学院软件工程硕士；美国卡耐基梅隆大学项目管理学院IT项目管理硕士；北航经济管理学院管理科学与工程专业博士；美国南康涅狄格州立大学图书信息科学访问学者；美国耶鲁大学儿童研究中心数据分析专家。

第1章 数学基础/1

1.1 微积分基础 /2

1.1.1 极限与积分 /2

1.1.2 导数和二阶导数 /4

1.1.3 方向导数和梯度 /5

1.1.4 凸函数和极值 /7

1.1.5 最优化方法 /8

1.2 概率与统计基础 /11

1.2.1 古典概率 /11

1.2.2 常用概率分布 /12

1.2.3 贝叶斯公式 /14

1.2.4 假设检验 /14

1.3 线性代数基础 /17

1.3.1 矩阵和向量 /17

1.3.2 矩阵乘法 /18

1.3.3 矩阵的特征值和特征向量 /19

习 题 /20

第2章 Python基础/21

2.1 Python概论 /22

2.1.1 Python简介 /22

2.1.2 Python入门 /23

2.2 NumPy函数库基础 /25

2.2.1 NumPy简介 /25

2.2.2 NumPy入门 /26

2.3 Matplotlib函数库基础 /35

2.3.1 Matplotlib简介 /35

2.3.2 Matplotlib入门 /35

2.4 Pandas函数库基础 /38

2.4.1 Pandas简介 /38

2.4.2 Pandas入门 /38

2.5 Sklearn函数库基础 /40

2.5.1 Sklearn简介 /40

2.5.2 Sklearn入门 /40

习 题 /44

第3章 机器学习/45

3.1 机器学习概论 /46

3.1.1 监督学习概述 /46

3.1.2 无监督学习概述 /47

3.1.3 强化学习概述 /49

3.2 监督学习 /50

3.2.1 回归与分类 /50

3.2.2 决策树 /56

3.2.3 神经网络 /60

3.2.4 朴素贝叶斯 /63

3.2.5 支持向量机 /66

3.3 无监督学习 /71

3.3.1 K Means算法 /71

3.3.2 降 维 /72

习 题 /75

第4章 深度学习/78

4.1 深度学习概论 /79

4.1.1 深度学习发展历程 /79

4.1.2 深度学习的应用 /82

4.1.3 深度学习框架介绍 /83

4.2 深度学习网络结构 /84

4.2.1 单层神经网络 /84

4.2.2 浅层神经网络 /88

4.2.3 深层神经网络 /92

4.3 卷积网络 /96

4.3.1 卷积神经网络简介 /96

4.3.2 卷积神经网络结构 /97

4.3.3 经典卷积网络模型 /104

4.4 循环和递归网络 /112

4.4.1 循环神经网络 /112

4.4.2 编码器与解码器 /116

4.4.3 递归神经网络 /118

4.4.4 长短期记忆 /120

深度学习

工程师认证初级教程

4.5 深度生成模型 /122

4.5.1 玻耳兹曼机 /122

4.5.2 深度信念网络 /125

4.5.3 有向生成网络 /126

4.5.4 生成随机网络 /132

习 题 /133

第5章 深度学习平台实战/135

5.1 深度学习平台介绍及环境搭建 /136

5.1.1 飞桨介绍 /136

5.1.2 飞桨环境搭建 /136

5.2 飞桨入门 /137

5.2.1 数据预处理的常规方法 /137

5.2.2 模型概览 /138

5.2.3 训练模型 /138

5.2.4 应用模型 /142

5.3 飞桨典型案例 /144

5.3.1 手写数字识别 /144

5.3.2 图像分类 /152

5.3.3 词向量 /162

5.3.4 情感分析 /171

5.3.5 语义角色标注 /180

习 题 /190

第6章 深度学习行业应用案例介绍/192

6.1 深度学习在计算机视觉中的应用 /193

6.1.1 概述及现状 /193

6.1.2 图像分类 /193

6.1.3 目标检测 /195

6.1.4 图像分割 /198

6.2 深度学习在自然语言处理中的应用 /200

6.2.1 概述及现状 /200

6.2.2 机器翻译 /200

6.2.3 问答系统 /202

6.2.4 文本情感分析 /203

6.3 深度学习在推荐系统中的应用 /204

6.3.1 概述及现状 /204

6.3.2 视频推荐 /205

6.3.3 CTR预估 /206

6.4 深度学习在语音技术中的应用 /209

6.4.1 概述及现状 /209

6.4.2 语音识别 /209

6.4.3 语音合成 /211

习 题 /212

参考文献/213

前言

随着第四次工业革命的到来,人类社会正式进入全新的人工智能时代,愈来愈多的企业探索利用人工智能技术为其行业赋能,众多科技巨头企业展开人工智能生态链对弈,在战略层面利用人工智能对传统行业生态进行整合优化。深度学习技术在人工智能领域产生了巨大的影响,已成为人工智能最为热门的研究领域。以深度学习为核心的人工智能将进一步探索与垂直行业知识融合并应用于广泛、新型领域的可能性。

深度学习技术推动并加速了人工智能的研究并取得了前所未有的进展,深度学习技术和背后蕴藏的思维方式,已经成为当下人工智能产业的基石,也是AI技术从业者、AI项目管理者必备的基本能力和认知方式。基于此,百度选择从“深度学习工程师”切入,为产业提供人才评估和认证,也为一线工程技术人员提供学习和成长的参考标准。“深度学习工程师认证”分为初、中、高3个层级,初级认证主要考查深度学习理论基础和平台操作能力;中级认证着重考查深度学习应用技能和工程能力;高级认证则考查深度学习的应用经验和模型设计能力。

本书作为深度学习工程师初级认证官方教材,将深度学习理论基础与平台操作有机结合,从算法到实战,涵盖数学基础、Python基础、机器学习、深度学习算法和基于飞桨框架的深度学习平台实战及行业应用案例。本书帮助读者快速了解、理解、掌握机器学习、深度学习的基础和前沿算法,并获得深度学习算法实战经验,有效提高读者解决实际问题的能力。通过本书,读者可以掌握深度学习的核心算法技术;掌握面向不同场景任务的深度学习、强化学习应用技术;熟悉不同深度神经网络的拓扑结构及应用;熟悉前沿深度学习的热点技术,把握深度学习的技术发展趋势;提升解决深度学习实际问题的能力。

全书共分6章,第1~4章主要介绍专业知识,包括数学基础、Python基础、机器学习和深度学习等基础知识;第5章面向工程实战能力的训练,介绍深度学习开发平台,特别是飞桨开发平台的实战案例;第6章面向业务理解与实践能力的提升,介绍深度学习在各个行业的应用案例。具体如下:

第1章为数学基础,帮助读者熟悉微积分基础知识,包括极限与积分、导数与二阶导数、方向导数、凸函数与极值、最优化方法;概率与统计基础,包括古典概率、常用概率分布、贝叶斯公式、假设校验;线性代数基础,包括矩阵与向量、矩阵乘法、矩阵特征值和特征向量。

第2章为Python基础,帮助读者掌握Python基础知识;掌握Python常用库的基本操作,包括Numpy、Matplotlib、Sklearn等。

第3章为机器学习,帮助读者掌握机器学习基础知识,包括监督学习、非监督学习、强化学习的概念及区别;熟悉监督学习,包括回归与分类、决策树、神经网络、朴素贝叶斯及支持向量机的应用;熟悉无监督学习,包括K均值聚类及降维的应用。

第4章为深度学习,帮助读者掌握深度学习理论、常见的深度学习网络结构;了解深度学习单层、浅层、深层网络的实现方式;掌握卷积神经网络,包括卷积神经网络原理及经典模型、卷积的数学意义与计算过程、卷积运算、池化及经典网络的配置方式;熟悉循环神经网络原理及经典模型,文本和序列的深度模型;了解深度生成模型与生成对抗网络。

第5章为深度学习平台实战,帮助读者掌握主流深度学习平台的环境搭建方法;熟悉深度学习模型的训练方式,包括网络结构设计和组网、损失函数、参数初始化、超参数调整和迭代优化;基于飞桨深度学习框架进行深度学习平台模型实战,包括手写数字识别、图像分类、词向量、情感分析、语义角色标注等模型。

第6章为深度学习行业应用案例。帮助读者熟悉使用深度学习框架搭建分布式深度学习网络模型;熟悉使用深度学习框架实现简单的CTR 预估、机器翻译等应用。

书中各章都给出了相应的练习题,同时也给出了相关的实践性内容。读者在阅读本书的同时,可以进行代码实战,以加深对深度学习理论及模型的理解。本书面向人工智能领域的工程师、研发人员,在校大学生、研究生,跨领域转AI从业者,以及对深度学习人工智能感兴趣的读者。深入学习本书,可使读者熟练开发、修改和运行机器学习、深度学习代码,并进行工程化层面上的改造;具备将初等复杂度的应用问题转化为合适的机器学习、深度学习问题并加以解决的能力。

尽管人工智能产业发展仍存在诸多问题,但人工智能终将深刻改变世界的生产和生活方式,无所不在。希望本书在为广大读者带来价值的同时,能够助力人工智能领域的人才培养,为中国的人工智能发展贡献一份力量。