基于机器学习的数据缺失值填补：理论与方法

（1）作者专注于数据缺失值填补的研究和实践多年，参与大量项目，期刊发表相关论文若干，经验十分丰富。
（2）传统的数据缺失值填补方法是基于统计学的，本书是基于*新的人工智能技术机器学习的，填补该领域空白。
（3）作者创新性地提出了基于神经网络和TS模型的缺失值填补方法，大幅提升填补效率。

这是一部讲解如何基于机器学习技术实现数据缺失值填补的专著，与传统的基于统计学的缺失值填补方法相比，效率上得到了较大的提升。作者基于多年的研究和实践成果，创新性地提出了基于神经网络的缺失值填补方法和基于TS模型的缺失值填补方法。
全书共8章，可分为4个部分。
第壹部分（第1~3章）：首先介绍缺失值填补领域的缺失数据机制、基本概念、性能度量等基础知识，随后详细阐述目前基于统计学、机器学习的缺失值填补理论与方法。
第二部分（第4~5章）：对目前神经网络在缺失值填补领域的研究成果进行归纳总结，并从网络模型、填补方案角度阐述神经网络填补方法的设计及应用。
第三部分（第6~7章）：详细介绍面向不完整数据的TS建模过程，随后通过特征选择算法处理TS建模中的特征冗余问题，并从前提参数优化和结论参数优化两个角度改进TS模型。
第四部分（第8章）：以缺失值填补方法在我国贫困问题研究中的应用为例，展现缺失值填补方法的现实意义。

作者介绍
赖晓晨
大连理工大学软件学院副教授、博士、硕士生导师，“宝钢教育”教师奖获得者，中国计算机学会会员。主要科研方向为人工智能、嵌入式系统，参与多项国家自然科学基金、国家重大研发计划、科技部973项目、863项目研究，发表SCI/EI收录学术论文20余篇，获得辽宁省技术发明三等奖1次。先后主持教改与课程建设项目3项、省部级项目14项、主持国家金课一门。与Google、Intel、ARM、Xilinx等国际公司有长期教学合作关系。

张立勇
大连理工大学控制科学与工程学院讲师、博士、硕士生导师。主要科研方向为数据挖掘与机器学习，参与多项国家自然科学基金、国家重点研发计划、科技部973项目、863项目研究。发表学术论文60多篇，被SCI/EI收录50余篇；出版学术专著2部。获得辽宁省科技进步二等奖1次、三等奖2次，辽宁省自然科学学术成果一等奖1次，获授权国家发明专利5项。

刘辉
大连理工大学讲师，主要研究方向为基于人工智能的数字化驱动教学模式研究，主讲多门线上课程。先后获得“教学之星”大赛全国一等奖、辽宁省微课教学比赛一等奖、辽宁省教育教学信息化大赛一等奖。教学经验丰富，善于用浅显的语言刻画复杂概念。

吴霞
大连理工大学软件学院硕士研究生，主要研究方向是机器学习与不完整数据分析，在SCI核心期刊、国际会议上发表多篇不完整数据分析相关论文，对基于机器学习的缺失值填补有充足的知识储备及见解。

前言
第1章　绪论 1
1.1　缺失值填补的背景与意义 1
1.2　缺失值填补方法的研究现状概述 3
1.2.1　基于统计学的缺失值填补方法 3
1.2.2　基于机器学习的缺失值填补方法 4
1.3　缺失值填补的应用 7
1.4　本章小结 10
参考文献 11
第2章　缺失数据的处理方法 14
2.1　数据缺失机制 14
2.1.1　完全随机缺失 15
2.1.2　随机缺失 15
2.1.3　非随机缺失 16
2.2　缺失数据的处理 17
2.2.1　不做处理 17
2.2.2　不完整样本删除 19
2.2.3　缺失值填补 20
2.3　缺失值填补概述 22
2.3.1　基本概念 22
2.3.2　方法分类 24
2.3.3　性能度量 26
2.4　本章小结 29
参考文献 29
第3章　缺失值填补方法 31
3.1　基于样本间相似度的填补方法 31
3.1.1　均值填补法 31
3.1.2　热平台填补法 34
3.1.3　K最近邻填补法 36
3.1.4　基于聚类的填补方法 39
3.2　基于属性间相关性的填补方法 46
3.2.1　基于线性回归的填补方法 46
3.2.2　基于非线性回归的填补方法 51
3.2.3　基于神经网络的填补方法 54
3.3　基于参数估计的期望最大化填补方法 60
3.3.1　参数估计法 60
3.3.2　期望最大化填补法 63
3.4　针对缺失数据不确定性的填补方法 66
3.4.1　多重填补法 67
3.4.2　基于证据理论的填补方法 72
3.5　本章小结 78
参考文献 79
第4章　面向不完整数据的神经网络填补方法 81
4.1　基于自组织映射网络的填补方法 81
4.1.1　自组织映射网络理论 81
4.1.2　自组织映射网络的缺失值处理 85
4.2　基于单层感知机的填补方法 87
4.2.1　单层感知机理论 87
4.2.2　传统单层感知机的改进 88
4.2.3　单层感知机填补模型 89
4.3　基于多层感知机的填补方法 91
4.3.1　多层感知机理论 91
4.3.2　基于多层感知机集群的填补方法 93
4.3.3　基于多层感知机简化集群的填补方法 95
4.4　基于自编码器及其变体的填补方法 96
4.4.1　基于自编码器的填补法 97
4.4.2　基于径向基函数自编码器的填补法 99
4.4.3　基于广义回归自编码器的填补法 102
4.4.4　基于对偶传播自编码器的填补法 104
4.4.5　基于极限学习机自编码器的填补法 106
4.5　面向不完整数据的属性关联型神经元建模与填补方法 107
4.5.1　基于去跟踪自编码器的填补法 108
4.5.2　基于关联增强型自编码器的填补法 112
4.5.3　基于多任务学习的填补方法 114
4.6　典型神经网络填补模型实验 117
4.6.1　实验设计 118
4.6.2　不同网络模型的填补精度 120
4.6.3　自编码器的自跟踪性 121
4.6.4　去跟踪自编码器的去跟踪性 123
4.7　本章小结 124
参考文献 124
第5章　神经网络填补方法的优化设计 127
5.1　面向不完整数据的代价函数 127
5.2　两阶段式填补方案 131
5.2.1　训练阶段 132
5.2.2　填补阶段 135
5.3　融合式填补方案 143
5.3.1　基于缺失值变量的神经网络动态填补方案 143
5.3.2　缺失值变量与模型参数的动态更新 144
5.3.3　时间复杂度 147
5.4　典型神经网络填补方案实验 149
5.4.1　实验设计 149
5.4.2　不同填补方案的填补精度 152
5.4.3　MVPT填补方案的收敛性 154
5.5　本章小结 155
参考文献 156
第6章　基于TS建模的非线性回归填补法 157
6.1　模糊数学基础 157
6.1.1　模糊数学与模糊集合 157
6.1.2　模糊数学在缺失值填补中的应用 158
6.2　TS模型 159
6.2.1　TS模型基本结构 159
6.2.2　TS模型研究与应用现状 160
6.3　基于TS模型的填补方法 163
6.3.1　基于TS模型的填补方法概述 163
6.3.2　前提参数获取 165
6.3.3　结论参数获取 168
6.3.4　缺失值填补 169
6.4　基于特征选择的TS模型填补法 170
6.4.1　特征选择算法概述 170
6.4.2　基于特征选择的TS模型填补法 177
6.5　TS模型填补方法实验 178
6.5.1　实验设计 178
6.5.2　TS模型与回归模型的填补效果对比 179
6.5.3　特征选择对TS模型拟合精度的影响 181
6.5.4　特征选择对TS模型填补精度的影响 183
6.6　本章小结 186
参考文献 186
第7章　TS模型填补方法的优化设计 188
7.1　面向类不均衡数据的TS模型优化 188
7.1.1　TS模型中的FCM算法 188
7.1.2　FCM算法存在的问题 190
7.1.3　DPC算法 192
7.1.4　类不均衡数据的MDF算法 195
7.1.5　MDF算法实验 196
7.2　基于交替学习策略的TS模型填补方法 204
7.2.1　TS结论参数与填补值的交替学习策略 206
7.2.2　交替学习策略的迭代收敛性 208
7.2.3　交替学习策略下线性回归填补法实验 209
7.2.4　交替学习策略下TS模型填补法实验 210
7.3　本章小结 212
参考文献 212
第8章　基于缺失值填补的中国贫困家庭特征分析 213
8.1　精准扶贫过程中的数据缺失问题 213
8.1.1　我国贫困问题研究 213
8.1.2　中国家庭追踪调查中的数据缺失问题 214
8.2　CFPS数据集缺失值填补 216
8.2.1　基于去跟踪自编码器的动态缺失值填补 216
8.2.2　缺失值填补精度 217
8.3　贫困家庭识别 219
8.3.1　多维贫困测度 219
8.3.2　贫困的维度指标及临界剥夺值 220
8.3.3　基于层次分析法的多维贫困指标权重计算 223
8.3.4　CFPS2016数据集的多维贫困家庭识别 227
8.4　基于聚类算法的贫困家庭类别划分 229
8.4.1　层次聚类算法 229
8.4.2　贫困家庭聚类 230
8.5　贫困家庭典型特征分析 232
8.5.1　多重聚类特征选择算法 232
8.5.2　贫困家庭典型特征选择 233
8.6　本章小结 235
参考文献 236

为什么要写这本书
近年来，以机器学习、深度学习为代表的人工智能技术已经逐步应用到医学、金融、交通等领域，由此掀起了一场大规模的科技与产业革新。人工智能是一门基于数据的科学技术，高质量的数据是推动其发展与应用的重要驱动力。然而，由于现实生活中机器或人为等干扰，数据缺失经常发生甚至不可避免。数据缺失可理解为不完整数据集中的“漏洞”，若不对其进行合理“弥补”，则无法正常开展数据挖掘等数据分析任务。由此可见，在数据质量难以保障而人工智能不断深化的今天，缺失数据已成为从业或科研人员经常面临的问题。
结合缺失数据处理这一现实需求，以及笔者多年的研究和工程经验，本书将全方位、多角度、深层次地呈现目前主流的数据缺失值填补方法，以对缺失值填补领域的研究成果和个人见解进行系统的论述。
缺失值填补是缺失数据处理的有效手段，其核心思想是为每个缺失值计算合理的替换值，以构造完整数据集。此类方法既可以保持原始数据集的规模，又能够保留不完整样本中现有数据所携带的信息，逐渐受到众多研究学者和开发人员的广泛关注。缺失值填补方法众多，应用范围基本覆盖基于数据的科学研究与工业应用领域。诸如均值填补、热平台填补等传统方法主要基于统计学理论实现，随着人工智能的发展，以机器学习为代表的人工智能技术在缺失值填补领域逐渐盛行。一方面，缺失值填补能够改善数据质量，进而改进机器学习的应用成效；另一方面，机器学习能够反哺缺失值填补方法的设计与创新。基于机器学习的缺失值填补理论与方法研究逐渐成为主要的发展趋势。
尽管填补方法众多，但无论是哪种方法均不具备普适性，故需从全局视角建立对缺失值填补的全面认知，以在实际应用中结合具体场景和数据集特性选取适宜的填补方法。目前，缺失值填补领域的研究成果以学术论文为主，少有系统性的图书。由于内容分散且繁杂，研究者需要耗费大量时间查阅论文，且难以形成系统且全面的认知。为了方便读者从全局视角掌握不同的填补方法，深入理解其意义及相互之间的区别，本书对当下缺失值填补领域的研究成果与应用情况进行系统概括和提炼，并重点突出基于神经网络和TS模型等机器学习理论的缺失值填补方法，为读者在科研或工作中遇到的缺失值问题提供全面而有效的解决思路。
总体而言，本书涉及的理论和方法能解决数据处理所面临的缺失值问题，从而有效提高数据质量，为后续人工智能技术的应用与发展建立坚实的基础。
读者对象
本书专注于采用机器学习方法解决数据缺失问题，目标明确、特点鲜明，内容循序渐进、由浅入深，尤其强调论述的系统性和完备性。本书适用人群包括：
人工智能，尤其是机器学习相关领域的研究者；
有相关项目开发需求的软件工程师；
高校信息学科或相关交叉学科的教师；
高校计算机、软件、电子、自动化相关专业的三、四年级本科生及研究生；
其他了解一定人工智能基础的学习者和对此感兴趣的爱好者。
阅读本书，应具备如下基础：
了解人工智能的基础知识和概念；
具有人工智能基本工具的使用经验，如Python、TensorFlow。
本书特色
本书专注于采用机器学习方法进行缺失数据的填补，相比于传统的基于统计学的方法，基于机器学习方法的模型更简单，不需要读者具有很强的数学功底，并且填补效果优于传统方法。以机器学习为代表的人工智能方法引领了目前技术发展的潮流，为社会生活的方方面面带来了彻底的变化。
目前图书市场中，关于缺失值填补的图书少之又少。现存的几类图书，要么基于统计学的方法，要么直接调用函数库讲解应用，对于基于机器学习方法的缺失值填补方法的论述基本是空白状态，这与大量数据集需要完成缺失值填补这一现实需求存在巨大的鸿沟。
本书的主要特点如下。
新颖性。本书主要采用神经网络和TS模型方法来解决数据缺失问题，与传统基于统计学的填补方法截然不同，且填补精度更高，填补难度更低。目前，国内图书市场尚无一本专著与本书类似，因而本书具有新颖性。
先进性。本书采用的数据集来自UCI等国际公认的著名大学数据集，提出了一系列基于神经网络和TS模型的填补方法，并与近年来国际上较为流行的其他方法充分对比，实验结果证明本书所提出的方法具有技术先进性。
工程性。本书附录公开了核心方法代码，读者可直接将本书方法应用于自己的工程项目当中，具有工程价值。
易用性。读者只要了解人工智能的基本概念，能够基于Python语言和TensorFlow完成基本操作，即可读懂本书，并且能够演示和复现各章节的填补方法，具有很好的易用性。
系统性。本书较为全面地介绍了缺失值填补的各方面内容，包括传统方法概述、国内外研究现状评论，对作者设计的各种方法也采用循序渐进的方式，按照方法之间的逻辑关系逐步介绍，力争为读者呈现基于机器学习的缺失值填补方法的全貌，给读者提供一站式的学习体验，具有良好的系统性。
如何阅读本书
本书系统地介绍了基于机器学习的缺失值填补理论及方法，共分为8章。
第1章介绍了缺失值填补的背景、意义、研究现状及应用。
第2章首先对数据缺失机制、缺失数据的处理进行概述，由此突出缺失值填补方法的优越性及必要性；接着从基本概念、方法分类、性能度量3个角度介绍缺失值填补概况。
第3章详细阐述目前基于统计学、机器学习的缺失值填补理论与方法。首先从样本间相似度、属性间关联性两个角度对部分填补方法展开介绍；接着阐述基于参数估计的期望最大化填补方法，以及针对缺失数据不确定性的缺失值填补方法。
第4章对目前神经网络在缺失值填补领域的研究成果进行归纳总结，包括基于多层感知机、自相关神经网络、循环神经网络等的填补模型。
第5章从网络代价函数、填补方法两个角度阐述神经网络填补方法的设计及应用，重点介绍缺失值变量视角下的网络动态填补方案，并详细阐述缺失值变量思路的优点。
第6章介绍基于TS模型的缺失值填补方法，突出TS模型可解释性强的优点，详细介绍面向不完整数据的TS建模过程，并通过特征选择算法解决TS建模中的特征冗余问题。
第7章从前提参数优化和结论参数优化两个角度改进TS模型。其中，针对类不均衡问题提供了合理的TS模型优化方案，并介绍了缺失值与TS模型参数的交替学习方案。
第8章基于前文介绍的缺失值填补方法，针对我国贫困家庭特征分析中的数据缺失问题提供解决方案，为缺失值填补的研究工作赋予现实意义，体现其应用价值。
第4～8章提供的各缺失值填补方法的相关核心代码下载地址为https://github.com/ldz15219/-/releases/tag/1.0。
总体而言，第1～3章阐述了缺失值填补的理论基础，第4～5章详细阐明了基于神经网络的缺失值填补方法，第6～7章详细阐明了基于TS模型的缺失值填补方法，第8章介绍缺失值填补方法的实际应用。读者可根据自身需求或者已有知识储备有选择地阅读，但如果你是一名初学者，建议从第1章开始按顺序学习。
勘误和支持
由于作者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果你有更多的宝贵意见，欢迎发送邮件至laixiaochen@dlut.edu.cn，期待能够得到大家的真挚反馈。
致谢
感谢刘德正在本书的内容撰写、实验设计、文字及格式校对等方面付出的辛苦努力。没有你的帮助，本书不可能完成。也感谢刘鑫、陆艺丹、宋橘超、朱金冲、阎文亮等多位朋友对本书的大力支持。
感谢机械工业出版社华章公司的编辑杨福川、张锡鹏、李良等，在创作过程中始终支持我的工作，你们的鼓励和帮助引导我们顺利完成全部书稿。
感谢国家重点研发计划项目（2018YFB1700200）和国家自然科学基金项目（U1608256）的支持。
感谢我的家人，是你们帮我承担了家庭负担，并时时督促和鼓励我，使我得以完成书稿的撰写。
谨以此书献给我的孩子，希望你能健康开心地成长！

赖晓晨
2020年4月