MindSpore深度学习高阶技术

本书从杰出AI（Best AI）、可信AI（Trust AI）和超越 AI（Beyond AI）三方面系统地介绍了深度学习的高阶技术，并给出了基于MindSpore AI计算框架的实践。第1～3章从数据处理、网络构建、训练与推理性能优化三个维度介绍MindSpore的杰出AI技术；第4～7章介绍可信AI，就模型安全和隐私、模型可靠性、可解释AI和AI中的公平性展开深入的讨论；第8～10章介绍超越AI，讲述数据驱动AI建模、AI求解科学计算方程和AI加速科学方法。为便于读者学习，书中还给出了基于MindSpore实现的关于深度学习高阶技术的样例代码。本书在深度学习理论的基础上，结合MindSpore新开源技术和方向进行讲解，扩大了MindSpore使用范围，可以作为普通高等学校人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生及研究生教材，也适合作为从事深度学习相关工作的软件开发工程师与科研人员的参考用书。

陈雷：香港科技大学计算机科学与工程系教授，大数据研究所主任，IEEE Fellow和ACM杰出科学家。研究方向包括数据驱动AI、人机共生机器学习、知识图谱、社交媒体上的数据挖掘等。在国际著名期刊和会议上发表论文300余篇，曾获得2015年SIGMOD时间价值奖。现任VLDB 2019程序委员会联合主席、VLDB期刊主编、IEEE TKDE期刊副总编、VLDB Endowment执行成员。

李向阳教授：中国科学技术大学计算机科学与技术学院

近年来，深度学习技术在许多领域，特别是在音频和视频数据分析与使用、生命科学和科学计算领域取得了辉煌的成就。陈雷教授编著的《MindSpore深度学习高阶技术》详尽阐述了深度学习在求解科学计算方程、加速计算和建模的过程及科学计算中的具体应用。特别值得一提的是，本书还详细讨论了AI 的可靠性和公平性，并配有大量MindSpore实现的模型实例，是一本不可多得的深度学习方面科研与教学的参考书，强烈推荐。

唐杰教授：清华大学计算机科学与技术系

深度学习技术在许多领域取得了革命性的突破，但是随着模型能力的增强，模型变得越来越大，越来越复杂，例如BERT 和GPT-3模型，随之而来的是训练时间的增长。怎样减少训练时间成了深度学习成功应用的关键。《MindSpore深度学习高阶技术》详尽介绍了业界领先的模型优化和加速的方法，如自动并行、二阶优化、模型量化、类型推导和图算融合，不仅给出了优化的方法，同时给出了用MindSpore实现的例子，对AI从业人员来说，是提高深度学习实战经验的一本很好的参考书。另外，本书也讨论了AI隐私、可信、公平和科学计算上的问题，让读者对AI的前沿领域有更深层的了解，值得推荐！

崔斌教授：北京大学信息科学技术学院

《MindSpore深度学习高阶技术》在总结深度学习理论的基础上，通过在深度学习框架MindSpore上进行操作和实践深入浅出地介绍了深度学习的高阶技术，给出了深度学习模型优化的开发参考。 同时在书中对深度学习模型的可信、 可解释、公平性和科学计算等前沿科研课题进行了讨论，强烈推荐读者阅读。

程明明教授：南开大学计算机学院

深度学习正在以前所未有的力度推动着人工智能技术的发展并改变着我们每个人的生活。《MindSpore深度学习高阶技术》通过丰富的实例对深度学习的高阶核心技术进行了深入浅出的讲解，同时结合华为公司深度学习框架MindSpore进行操作和实践。强烈推荐对深度学习技术感兴趣的读者阅读。

刘欢教授：亚利桑那州立大学计算机科学与工程学院

MindSpore是一种兼容目前主流应用的深度学习框架。《MindSpore深度学习高阶技术》讲解了深度学习的模型概念和算法，并给出了在MindSpore上实现的步骤，是一本理论结合实践的工具书，对在该框架下学习和应用的实践者来说有实际的帮助。

第1章数据处理00

1.1转换数据集为MindRecord00

1.1.1背景与现状00

1.1.2MindRecord技术原理00

1.1.3使用示例00

1.2自动数据增强00

1.2.1背景与现状00

1.2.2自动数据增强技术原理00

1.2.3使用示例0

1.3轻量化数据处理0

1.3.1背景与现状0

1.3.2Eager模式原理0

1.3.3使用示例0

1.4单节点缓存加速0

1.4.1背景与现状0

1.4.2单节点缓存原理0

1.4.3单节点预处理数据缓存功能的使用0

1.4.4性能优势展示0

1.5优化数据处理0

1.5.1背景与现状0

1.5.2数据处理优化途径0

1.6本章小结0

第2章网络构建0

2.1自定义算子0

2.1.1算子原语0

2.1.2算子实现和算子信息注册0

2.1.3使用自定义算子0

2.1.4定义算子反向传播函数0

2.1.5小结0

2.2深度概率学习0

2.2.1框架模块0

2.2.2深度概率推断算法与概率模型0

2.2.3贝叶斯神经网络0

2.2.4贝叶斯应用工具箱0

2.2.5小结0

2.3高阶自动微分0

2.3.1微分求解方法概述0

2.3.2技术原理0

2.3.3相关案例0

2.4本章小结0

第3章训练与推理性能优化0

3.1千亿参数模型自动并行0

3.1.1分布式训练基础0

3.1.2关键问题0

3.1.3整体流程0

3.1.4流水线并行0

3.1.5并行子图切分0

3.1.6算子级并行0

3.1.7优化器切分0

3.1.8异构图切分0

3.1.9重计算0

3.1.10GPT3超大规模分布式并行方案0

3.1.11小结0

3.2二阶优化0

3.2.1优化器背景介绍0

3.2.2THOR简介0

3.2.3THOR的实践应用0

3.2.4小结0

3.3模型量化0

3.3.1量化算法原理0

3.3.2感知量化训练0

3.3.3训练后量化

3.3.4小结

3.4类型推导

3.4.1静态分析技术背景

3.4.2静态分析设计

3.4.3静态分析模块设计

3.4.4小结

3.5图算融合

3.5.1技术原理

3.5.2MindSpore上的图算融合

3.5.3小结

3.6推理图优化

3.6.1算子融合

3.6.2算子替换

3.6.3常量折叠

3.6.4算子重排

3.6.5小结

3.7kernel优化

3.7.1硬件优化

3.7.2算法优化

3.7.3小结

3.8本章小结

第4章模型安全与隐私

4.1对抗攻防

4.1.1背景

4.1.2MindArmour的攻防能力

4.1.3使用示例

4.2差分隐私训练

4.2.1差分隐私

4.2.2使用示例

4.3AI Fuzzer测试模型安全性

4.3.1AI Fuzzer原理

4.3.2使用示例

4.4隐私泄露风险评估

4.4.1原理

4.4.2使用示例

4.5本章小结

第5章模型可靠性

5.1模型鲁棒性度量及提升

5.1.1技术现状

5.1.2推荐方案

5.1.3应用结果

5.1.4技术发展

5.1.5小结

5.2概念漂移检测

5.2.1问题背景

5.2.2业界现状

5.2.3常用检测算法

5.2.4小结

5.3基于故障注入的测试

5.3.1故障模式库

5.3.2故障注入测试

5.3.3小结

5.4本章小结

第6章可解释AI

6.1扰动类可解释AI算法的问题与改进

6.1.1扰动类可解释方法简介

6.1.2扰动类可解释方法的问题分析

6.1.3改进方法通用框架

6.1.4RISE+

6.1.5使用示例

6.1.6扩展分析

6.2基于层级遮掩的反事实解释

6.2.1技术原理

6.2.2使用示例

6.2.3小结

6.3基于塔桥网络模型的推荐解释

6.3.1发展现状

6.3.2技术原理

6.3.3推荐解释应用示例

6.3.4训练TBNet网络

6.3.5小结

6.4本章小结

第7章AI中的公平性问题

7.1多样的公平性定义

7.1.1群体公平

7.1.2个体公平

7.1.3过程公平

7.2偏见消减

7.2.1数据预处理

7.2.2模型构建与训练

7.2.3后矫正

7.3AI公平性的应用场景

7.3.1内容生成与分类任务

7.3.2资源分配与决策任务

7.4本章小结

第8章数据驱动AI建模

8.1医药生物计算案例

8.1.1背景介绍

8.1.2发展现状

8.1.3相关案例

8.1.4小结

8.2天气预报案例

8.2.1背景介绍

8.2.2发展现状

8.2.3相关案例

8.2.4小结

8.3金属材料模拟

8.3.1背景介绍

8.3.2发展现状

8.3.3相关案例

8.3.4小结

8.4AI求解薛定谔方程

8.4.1背景介绍

8.4.2发展现状

8.4.3相关案例

8.4.4小结

8.5本章小结

第9章AI求解科学计算方程

9.1业界经典微分方程学术进展

9.1.1背景介绍

9.1.2物理信息神经网络

9.1.3傅里叶神经算子

9.1.4小结

9.2SimNet

9.2.1背景介绍

9.2.2框架介绍

9.2.3相关案例

9.3SciML

9.3.1框架介绍

9.3.2典型案例

9.3.3小结

9.4本章小结

第10章AI加速科学方法

10.1海洋模式背景介绍

10.2基于OpenArray的区域海洋模式GOMO

10.2.1OpenArray算子库

10.2.2区域海洋模式GOMO

10.3MindSpore加速GOMO求解

10.3.1算子抽象

10.3.2图算融合

10.3.3Halo区并行

10.4本章小结

参考文献

近年来，人工智能(Artificial Intelligence，AI)在各个领域都取得了辉煌的成就，不论是在人们的日常生活中，如商品的推介、旅程的规划、营养的匹配和智能理财，还是在生物、医学、物理、化学等科学领域，AI都起到了大力推动作用。人们都在疑惑，这背后到底是什么神秘的高级技术，让AI如此成功。这也是本书想要回答的问题。

本书专注讲解MindSpore深度学习的高阶技术，展望其在未来领域的应用，详细地向读者阐述这些技术的原理和实践案例，让读者在掌握深层理论的基础上，了解MindSpore开发的实践经验。

本书从三方面讲述MindSpore深度学习的高阶技术，分别是杰出AI(Best AI)、可信AI(Trust AI)和超越AI(Beyond AI)。第1~第3章介绍杰出AI，从数据处理、 网络构建、训练与推理性能优化三个维度介绍MindSpore的杰出AI技术；第4~第7章介绍可信AI，就模型安全与隐私、模型可靠性、可解释AI和AI中的公平性问题展开讨论； 第8~第10章介绍超越AI，讲述数据驱动AI建模、AI求解科学计算方程和AI加速科学方法。

在杰出AI和可信AI 部分，针对MindSpore的几大关键技术，如数据增强、自动并行、二阶优化、量化感知训练、对抗攻击和模型可解释，不仅介绍了具体的技术和原理，还给出了详细的MindSpore实现案例； 在超越AI部分，给出了今后MindSpore 在科学计算领域的开发方向。

希望本书能为读者的学习和工作提供帮助，让读者了解MindSpore高阶技术，同MindSpore团队的研发人员一起开发准确、高效、稳定、可信的AI 深度学习框架。

编著者

2021年10月