深度学习之PyTorch物体检测实战董洪义著

百度自动驾驶算法工程师重磅力作

长江学者特聘教授王田苗、百度自动驾驶技术总监陶吉等7位专家力荐

提供完整的源代码文件及相关的论文导引

系统介绍物体检测的相关概念、发展和经典实现方法

用PyTorch从代码角度详解Faster RCNN、SSD和YOLO三个经典检测器

详细讲解物体检测的轻量化网络、细节处理、难点问题及未来发展趋势

7位重量级大咖力荐：

教育部长江学者特聘教授 王田苗

百度自动驾驶技术总监 陶吉

百度自动驾驶前事业部主任架构师 夏添

商汤科技研发总监 武伟

义柏资本技术专家 丁宁

旷视研究院研究员 朱本金

达摩院视觉工程师 唐家声

一分钟了解《深度学习之PyTorch物体检测实战》：

学习物体检测需要哪些基础知识？

如何成为PyTorch框架的“老司机”？

怎样理解Faster RCNN、SSD与YOLO？

什么是Anchor与NMS？该如何改进？

如何实现轻量化检测网络？

如何缓解样本不均衡与过拟合问题？

如何解决多尺度检测与拥挤遮挡检测？

物体检测未来的发展趋势如何？

如何选择适合自己应用的检测器？

……

通过阅读《深度学习之PyTorch物体检测实战》，你将获得这些复杂问题的基本答案，并能较为全面地掌握物体检测技术。

《深度学习之PyTorch物体检测实战》核心内容：

理论基础：

物体检测发展历程

PyTorch框架基础知识

多种网络骨架：Backbone

物体检测三大经典框架：

两阶经典检测器：Faster RCNN

单阶多层检测器：SSD

单阶经典检测器：YOLO

物体检测深入分析：

压缩再扩展：SqueezeNet

深度可分离：MobileNet

通道间混洗：ShuffleNet

非极大值抑制：NMS

样本不均衡问题

模型过拟合

多尺度物体检测

拥挤与遮挡检测

Anchor-Free思想

物体检测发展趋势

值赠送：

源代码（需要下载）

《深度学习之PyTorch物体检测实战》从概念、发展、经典实现方法等几个方面系统地介绍了物体检测的相关知识，重点介绍了Faster RCNN、SDD和YOLO这三个经典的检测器，并利用PyTorch框架从代码角度进行了细致讲解。另外，《深度学习之PyTorch物体检测实战》进一步介绍了物体检测的轻量化网络、细节处理、难点问题及未来的发展趋势，从实战角度给出了多种的解决方法，便于读者更深入地掌握物体检测技术，从而做到在实际项目中灵活应用。

《深度学习之PyTorch物体检测实战》共10章，涵盖的主要内容有物体检测与PyTorch框架基础概念与背景知识；PyTorch基础知识；基础卷积网络Backbone；两阶经典检测器Faster RCNN；单阶多层检测器SSD；单阶经典检测器YOLO；模型加速之轻量化网络；物体检测细节处理；物体检测难点问题；物体检测的未来发展。

《深度学习之PyTorch物体检测实战》内容丰富，讲解通俗易懂，案例典型，实用性强，特别适合PyTorch框架爱好者和物体检测相关从业人员阅读，也适合深度学习和计算机视觉领域的研究人员阅读。另外，《深度学习之PyTorch物体检测实战》还适合作为深度学习培训机构的教材使用。

董洪义 本科、硕士均毕业于北京航空航天大学。深度学习与PyTorch爱好者。现任百度自动驾驶算法工程师。曾担任Phantom Tiger算法负责人、地平线智能驾驶部门算法实习生、北航国际拓展团团长。曾经被评为北京航空航天大学年度人物。曾经获得了Kaggle竞赛银牌。本科期间成绩年级，曾前往日本、英国、比利时、荷兰等国的知名学校访问交流。研究方向为自动驾驶感知、智能机器人与计算机视觉。有3年以上的深度学习研发经验。

董洪义同学的这本《深度学习之PyTorch物体检测实战》，深入浅出地讲解了物体检测的核心技术与难点问题，同时注重理论与实践的结合，知行合一，强烈推荐相关领域的初学者与研究者阅读。

——北航机器人研究所教授/博导，教育部长江学者特聘教授 王田苗

作者作为奋战在自动驾驶领域前沿的从业者，选择了物体检测这个在自动驾驶、智慧交通、智能安防等领域都至关重要的技术作为切入点，相信能带领读者利用PyTorch这件趁手的“兵器”，在计算机视觉的前沿应用领域披荆斩棘，获得过硬的实战能力。

——百度自动驾驶技术总监 陶吉

看董洪义的这《深度学习之PyTorch物体检测实战》好像是推开了一扇窗，可以领略近些年来深度学习在物体检测领域的逐步发展过程，同时也会让有志于从事深度学习应用领域的读者收获更多的研发经验，从而迈向更高的阶段。

——百度自动驾驶前事业部主任架构师/视觉感知方向技术负责人 夏添

《深度学习之PyTorch物体检测实战》作者从“自包含”角度，不仅梳理了物体检测的算法发展脉络，而且还介绍了如何利用PyTorch来实现算法，是一本的计算机视觉工程师入门书籍。

——商汤科技研发总监 武伟

我个人认为技术书籍的作者必须满足三点：共情能力强且能洞察读者需求；逻辑能力强且具备批判性思维；肚子里有“货”且能倾囊相授。洪义完美地满足了这三点。《深度学习之PyTorch物体检测实战》是他的用心之作，值得相关技术爱好者细读。当然，我也很期待他的下一本书。

——义柏资本技术专家/SIGAI特聘讲师 丁宁

洪义的这本书同时兼顾了方法论和实践，对于想入门物体检测或者温习相关理论，乃至学习如何使用 PyTorch的读者来说，是一本很好的参考书。

——旷视研究院研究员 朱本金

董洪义用丰富的知识和经验，填补了国内物体检测领域原创图书的空白，为相关教学和开发实战提供了一本有价值的参考图书。从一线工程师的眼光来看，这是一本能够帮助读者快速构建相关知识体系，并掌握实践经验的书，值得细读。

——达摩院视觉技术一线工程师 唐家声

（因字数所限，部分章节只给出了二级目录，完整目录请查看华章网站）

第1篇 物体检测基础知识

第1章 浅谈物体检测与PyTorch 2

1.1 深度学习与计算机视觉 2

1.1.1 发展历史 2

1.1.2 计算机视觉 7

1.2 物体检测技术 9

1.2.1 发展历程 10

1.2.2 技术应用领域 11

1.2.3 评价指标 12

1.3 PyTorch简介 17

1.3.1 诞生与特点 17

1.3.2 各大深度学习框架对比 17

1.3.3 为什么选择PyTorch 19

1.3.4 安装方法 20

1.4 基础知识准备 22

1.4.1 Linux基础 22

1.4.2 Python基础 24

1.4.3 高效开发工具 29

1.5 总结 36

第2章 PyTorch基础 37

2.1 基本数据：Tensor 37

2.1.1 Tensor数据类型 37

2.1.2 Tensor的创建与维度查看 39

2.1.3 Tensor的组合与分块 41

2.1.4 Tensor的索引与变形 42

2.1.5 Tensor的排序与取极值 46

2.1.6 Tensor的自动广播机制与向量化 46

2.1.7 Tensor的内存共享 47

2.2 Autograd与计算图 48

2.2.1 Tensor的自动求导：Autograd 49

2.2.2 计算图 50

2.2.3 Autograd注意事项 51

2.3 神经网络工具箱torch.nn 52

2.3.1 nn.Module类 52

2.3.2 损失函数 55

2.3.3 优化器nn.optim 56

2.4 模型处理 59

2.4.1 网络模型库：torchvision.models 59

2.4.2 加载预训练模型 60

2.4.3 模型保存 61

2.5 数据处理 61

2.5.1 主流公开数据集 61

2.5.2 数据加载 63

2.5.3 GPU加速 65

2.5.4 数据可视化 66

2.6 总结 68

第3章 网络骨架：Backbone 69

3.1 神经网络基本组成 69

3.1.1 卷积层 70

3.1.2 激活函数层 72

3.1.3 池化层 75

3.1.4 Dropout层 76

3.1.5 BN层 77

3.1.6 全连接层 79

3.1.7 深入理解感受野 81

3.1.8 详解空洞卷积（Dilated Convolution） 82

3.2 走向深度：VGGNet 83

3.3 纵横交错：Inception 87

3.4 里程碑：ResNet 93

3.5 继往开来：DenseNet 95

3.6 特征金字塔：FPN 99

3.7 为检测而生：DetNet 106

3.8 总结 110

第2篇 物体检测经典框架

第4章 两阶经典检测器：Faster RCNN 112

4.1 RCNN系列发展历程 112

4.2 准备工作 114

4.3 Faster RCNN总览 115

4.4 详解RPN 117

4.5 RoI Pooling层 127

4.6 全连接RCNN模块 130

4.7 Faster RCNN的改进算法 131

4.8 总结 141

第5章 单阶多层检测器：SSD 142

5.1 SSD总览 142

5.2 数据预处理 144

5.3 网络架构 148

5.4 匹配与损失求解 154

5.5 SSD的改进算法 157

5.6 总结 166

第6章 单阶经典检测器：YOLO 167

6.1 无锚框预测：YOLO v1 167

6.2 依赖锚框：YOLO v2 171

6.3 多尺度与特征融合：YOLO v3 180

6.4 总结 183

第3篇 物体检测的难点与发展

第7章 模型加速之轻量化网络 186

7.1 压缩再扩展：SqueezeNet 188

7.2 深度可分离：MobileNet 191

7.3 通道混洗：ShuffleNet 200

7.4 总结 207

第8章 物体检测细节处理 209

8.1 非极大值抑制：NMS 209

8.2 样本不均衡问题 217

8.3 模型过拟合 224

8.4 总结 229

......

随着深度学习的飞速发展，计算机视觉技术取得了令人瞩目的成果，尤其是物体检测这一基础又核心的分支，诞生了众多经典算法，在自动驾驶、智能医疗、智能安防及搜索娱乐等多个领域都得到了广泛应用。与此同时，诞生于2017年的PyTorch框架，凭借其简洁优雅、灵活易上手等优点，给开发人员留下了深刻的印象。

目前，国内图书市场上已经出版了几本PyTorch方面的图书，但大多数图书停留在浅层的概念与简单示例的讲解上，缺乏实用性，而且也没有一本系统讲解PyTorch物体检测方面的图书。因此，图书市场上迫切需要一本系统介绍PyTorch物体检测技术的书籍。这便是笔者写作《深度学习之PyTorch物体检测实战》的初衷。

《深度学习之PyTorch物体检测实战》是国内原创图书市场上首部系统介绍物体检测技术的图书。书中利用PyTorch深度学习框架，从代码层面讲解了Faster RCNN、SSD及YOLO这三大经典框架的相关知识，并进一步介绍了物体检测的细节与难点问题，让读者可以全面、深入、透彻地理解物体检测的种种细节，并能真正提升实战能力，从而将这些技术灵活地应用到实际开发中，享受深度学习带来的快乐。

《深度学习之PyTorch物体检测实战》特色

1.系统介绍了PyTorch物体检测技术

《深度学习之PyTorch物体检测实战》深入物体检测这一基础又核心的技术，从其诞生背景、主流算法、难点问题、发展趋势等多个角度详细介绍了物体检测知识，并结合代码给出了多个算法的实现。

2. 从代码角度详细介绍了物体检测的三大算法

《深度学习之PyTorch物体检测实战》介绍了Faster RCNN、SSD及YOLO这三个影响深远的检测算法，从代码层面详细介绍了它们所实现的每一个细节与难点，并进行了优缺点分析，而且给出了多种优化算法。

3. 涵盖所有主流的物体检测算法

《深度学习之PyTorch物体检测实战》几乎涵盖所有主流的物体检测算法，包括VGGNet、ResNet、FPN、DenseNet和DetNet等卷积基础网络，以及从Faster RCNN、HyperNet、Mask RCNN、SSD、RefineDet、YOLO v1到YOLO v3、RetinaNet、CornerNet和CenterNet等物体检测算法，呈现给读者一个完整的知识体系。

4. 给出了多个实际的物体检测实例，有很强的实用性

《深度学习之PyTorch物体检测实战》对PyTorch的知识体系进行了较为精炼的介绍，还结合物体检测算法重点介绍了PyTorch实现的多个物体检测实例。因此《深度学习之PyTorch物体检测实战》不仅是一本很好的PyTorch框架学习书籍，更是一本PyTorch物体检测实战宝典。

5. 对物体检测技术常见的细节、难点及发展做了详细分析

《深度学习之PyTorch物体检测实战》不仅对物体检测技术的热门话题做了详细分析，例如非极大值抑制、样本不均衡、模型过拟合、多尺度检测、物体拥挤与遮挡等，而且对各种细节与常见问题做了详细分析，并给出了多种解决方法。

《深度学习之PyTorch物体检测实战》内容

第1篇 物体检测基础知识

本篇涵盖第1~3章，介绍了物体检测技术与PyTorch框架的背景知识与的基础知识。主要内容包括物体检测技术的背景与发展；物体检测的多种有效工具；PyTorch背景知识与基础知识；多种基础卷积神经网络的相关知识与具体实现等。掌握本篇内容，可以为读者进一步学习物体检测技术奠定基础。

第2篇 物体检测经典框架

本篇涵盖第4~6章，介绍了Faster RCNN、SSD与YOLO三大经典算法的思想与实现。主要内容包括Faster RCNN两阶算法的思想；锚框Anchor的意义与实现；Faster RCNN的多种改进算法；SSD单阶算法的思想与实现；SSD的数据增强方法及多种改进算法；YOLO单阶算法的三个版本演变过程及具体实现等。掌握本篇内容，可以让读者从代码角度学习物体检测的种种细节。

第3篇 物体检测的难点与发展

本篇涵盖第7~10章，介绍了物体检测技术的细节、难点及未来发展。主要内容包括针对模型加速的多种轻量化网络思想与实现；非极大值抑制；样本不均衡及模型过拟合等物体检测细节问题的背景知识与解决方法；多尺度、拥挤与遮挡等物体检测难点问题的背景知识与解决方法；多种摆脱锚框的检测算法；物体检测的未来发展趋势等。掌握本篇内容，可以让读者更加深入地学习物体检测的相关技术。

《深度学习之PyTorch物体检测实战》读者对象

 需要全面学习物体检测技术的人员；

 PyTorch框架爱好者和研究者；

 计算机视觉从业人员与研究者；

 深度学习从业人员与爱好者；

 自动驾驶、智能安防等领域的开发人员；

 人工智能相关产业的从业人员；

 计算机、机器人等的高校学生。

阅读建议

 没有物体检测与PyTorch基础的读者，建议从第1章顺次阅读并演练每一个实例。

 有一定PyTorch与物体检测基础的读者，可以根据实际情况有重点地选择阅读各个算法的细节。

 对于每一个检测算法，建议读者先阅读一下原论文，多思考算法设计的动机与目的，并重点思考如何用代码实现，这会加深读者对检测算法的理解。原论文的下载地址和《深度学习之PyTorch物体检测实战》源代码文件一起提供。

 多思考各种物体检测算法的优缺点、相互之间的联系与区别，以及可以优化和改进的细节等，形成完整的知识体系树，这样会进一步加深读者对知识的理解。

配书资源获取方式

《深度学习之PyTorch物体检测实战》涉及的全部源代码都放在了GitHub上，需要读者自行下载。下载地址如下：

https://github.com/dongdonghy/Detection-PyTorch-Notebook

有些章节的代码较多，但在书中仅给出了重要的片段代码，完整代码以GitHub上的代码为准。

另外，读者也可以登录华章公司的网站www.hzbook.com，搜索到《深度学习之PyTorch物体检测实战》，然后单击“资料下载”按钮，即可在本书页面上找到相关的下载链接。

致谢

《深度学习之PyTorch物体检测实战》的编写得到了许多人的帮助。可以说，《深度学习之PyTorch物体检测实战》是多人共同努力的结晶。感谢北京源智天下科技有限公司的王蕾，她在稿件整理方面帮我做了大量的工作！感谢王田苗教授、陶吉博士、夏添博士、侯涛刚博士、严德培、单增光、王策、鄂俊光、李成、丁宁、付航、高鹏、朱本金、彭强、王粟瑶、张腾、王兆玮、黄彬效和拓万琛等人，他们对《深度学习之PyTorch物体检测实战》提出了许多宝贵的意见和建议！感谢我的女朋友及家人，他们一直以来都对我鼓励有加，给我写作《深度学习之PyTorch物体检测实战》以大的动力！感谢为《深度学习之PyTorch物体检测实战》付出辛勤工作的每一位编辑，他们认真、细致的工作让《深度学习之PyTorch物体检测实战》质量提高不少！

……