分布式机器学习——交替方向乘子法在机器学习中的应用

本书探究交替方向乘子法在图像处理中的应用,选取了运动模糊图像复原和遥感图像融合两个领域来作细致研究。通过 MATLAB进行仿真实验,利用交替方向乘子法高效求解复杂的凸优化问题,研究遮挡人脸识别的鲁棒性算法,以及人脸图像的类内变化和类间变化与鲁棒性算法的关系。同时,本书还探索高效的分布式优化求解方法。将分布式计算框 CoCoA 应用于机器学习和信号处理的各种问题。

本书适合作用从事机器学习研究的科技工作者、专业技术人员、研究生及高年级本科生的参考书。

雷大江，重庆邮电大学数据科学与大数据技术教授，博士，IET学会会员、ICST学会会员、中国计算机学会会员、儿童医疗大数据智能应用重庆市高校工程研究中心技术委员会委员。2006年毕业于武汉科技大学计算机应用技术专业，获工学硕士学位；2012年毕业于重庆大学计算机科学与技术专业，获工学博士学位。2014-2015年在挪威奥斯陆大学Simula研究院从事高性能计算博士后研究，2018年获得重庆市留学归国人员创新创业项目支持人选称号。

目录

第1章引言

1.1大数据对机器学习的挑战

1.2分布式优化算法国内外研究现状

1.3本书研究内容

1.4参考文献

第2章交替方向乘子法

2.1凸优化

2.1.1凸集

2.1.2凸函数

2.1.3优化问题

2.1.4凸优化问题

2.2对偶

2.2.1拉格朗日对偶函数

2.2.2对偶函数和共轭函数

2.2.3对偶问题

2.2.4鞍点

2.2.5对偶上升法

2.2.6对偶分解性

2.3交替方向乘子法

2.3.1增广拉格朗日乘子法

2.3.2交替方向乘子法

2.3.3全局变量一致性优化

2.4参考文献

第3章稀疏回归

3.1Lasso问题

3.2ADMM求解Lasso问题

3.3Lasso问题的一般求解

3.4Lasso问题的全局一致性求解

3.4.1基于样本划分的Lasso问题

3.4.2基于特征划分的Lasso问题

3.5参考文献

第4章Huber回归

4.1Huber损失在稀疏鲁棒性编码中的应用

4.1.1基于回归分析的一般分类框架

4.1.2稀疏编码

4.1.3Huber损失函数

4.2Huber损失的一般化求解

4.3Huber损失的并行求解

4.3.1基于特征划分的Huber函数

4.3.2基于样本划分的Huber函数

4.4参考文献

第5章交替方向乘子法在图像处理中的应用

5.1基于交替方向乘子法的全变差模糊图像恢复

5.1.1图像退化模型

5.1.2ADMM算法图像恢复推导过程

5.2基于交替方向乘子法的遥感图像融合

5.2.1基于变分框架的图像融合方法

5.2.2基于增强稀疏结构一致性的遥感图像融合

5.2.3实验结果与分析

5.3参考文献

第6章加权Huber约束稀疏表达的鲁棒性算法

6.1Sigmoid权重

6.2加权Huber约束稀疏编码

6.2.1权重的初始值

6.2.2迭代条件

6.2.3查询样本类别判断

6.3算法鲁棒性分析

6.4算法的迭代步骤及其子问题划分

6.4.1ADMM求解子问题

6.4.2计算复杂度分析

6.4.3收敛性和收敛率分析

6.5加权Huber约束稀疏编码算法实验

6.5.1实验设置

6.5.2弱遮挡的人脸识别

6.5.3强遮挡的人脸识别

6.5.4图像的重构

6.5.5运行时间

6.5.6参数与识别率

6.5.7实验结果与分析

6.6本章小结

6.7参考文献

第7章自适应加权Huber约束稀疏表达的鲁棒性算法

7.1自适应权重

7.2自适应加权Huber约束编码的模型

7.3自适应加权Huber约束稀疏编码的模型

7.3.1自适应权重更新

7.3.2自适应权重初始值

7.3.3迭代条件

7.3.4查询样本分类

7.4算法鲁棒性分析

7.5算法的迭代步骤及子问题分析

7.5.1ADMM求解子问题

7.5.2计算复杂度分析

7.5.3收敛性和收敛率分析

7.6自适应加权Huber约束稀疏编码算法实验

7.6.1实验设置

7.6.2弱闭塞的人脸识别

7.6.3强闭塞的人脸识别

7.6.4运行时间

7.6.5参数分析

7.6.6实验结果与分析

7.7本章小结

7.8参考文献

第8章极大不相关多元逻辑回归

8.1引入极大不相关约束的意义

8.2极大不相关多元逻辑回归算法

8.2.1基于多元逻辑回归算法的改进

8.2.2求解算法时间复杂度分析

8.3极大不相关多元逻辑回归算法实验

8.3.1数据集介绍

8.3.2人工数据集和公开数据集实验结果

8.3.3极大不相关神经网络算法实验

8.4大规模极大不相关多元逻辑回归算法

8.4.1极大不相关多元逻辑回归的一致性求解算法

8.4.2极大不相关多元逻辑回归的共享求解算法

8.4.3求解算法时间复杂度分析

8.5分布式极大不相关逻辑回归算法实验

8.5.1运行环境与数据集介绍

8.5.2一致性求解算法的实验对比

8.5.3共享求解算法的实验对比

8.6本章小结

8.7参考文献

第9章快速稀疏多元逻辑回归

9.1稀疏多元逻辑回归串行求解算法

9.1.1迭代重加权最小二乘法

9.1.2快速稀疏多元逻辑回归算法

9.2快速稀疏多元逻辑回归算法实验

9.2.1实验设置

9.2.2优化算法实验及分析

9.2.3传统算法实验及分析

9.3稀疏多元逻辑回归并行求解算法

9.3.1多元逻辑回归的一致性优化求解

9.3.2多元逻辑回归的共享优化求解

9.3.3求解算法收敛性分析

9.3.4求解算法计算复杂度分析

9.4SPSMLR算法和FPSMLR算法实验

9.4.1实验设置

9.4.2样本划分实验及分析

9.4.3特征划分实验及分析

9.4.4大规模算法实验及分析

9.5本章小结

9.6参考文献

第10章CoCoA框架下的Lasso回归分布式求解

10.1CoCoA框架介绍

10.1.1框架应用的两种问题形式

10.1.2各节点求解的子问题

10.1.3CoCoA总体计算框架

10.2CoCoA框架下求解Lasso回归

10.3CoCoA框架下求解Lasso回归实验

10.3.1实验设置

10.3.2实验结果与分析

10.4本章小结

10.5参考文献

第11章CoCoA框架下的稀疏多元逻辑回归分布式求解

11.1稀疏多元逻辑回归

11.2稀疏多元逻辑回归分布式求解

11.3CoCoA框架下求解稀疏多元逻辑回归实验

11.3.1实验设置

11.3.2实验结果与分析

11.4本章小结

11.5参考文献

前言

自美国斯坦福大学Stephen Boyd教授将交替方向乘子法引入分布式优化和统计学习以来，交替方向乘子法因对求解大规模问题十分有效而风靡机器学习界，它被广泛地应用于机器学习的优化问题求解中，尤其是分布式凸优化问题中。在我国曾出版过不少关于凸优化方面的书，但大都偏重于介绍数学性的理论、应用和算法，对交替方向乘子法求解机器学习优化问题的介绍不足；新近的文章和书籍虽然不少，但都比较分散或各有侧重点，编著一本内容新颖并具有机器学习应用背景的交替方向乘子法的专著，是作者多年的梦想。

全书共分为11章，第1章介绍大数据对机器学习的挑战和交替方向乘子法对机器学习优化求解的重要作用，回顾国内外分布式优化求解算法的研究现状，并介绍本书研究内容。

第2章按照交替方向乘子法的发展历程，介绍了掌握交替方向乘子法所需要的基础知识，简要介绍了凸优化基础知识、优化中的对偶基础知识、交替方向乘子法的关联优化算法，为后面的章节做铺垫。

第3章简要介绍了利用交替乘子法如何对稀疏回归问题进行求解，演示了利用交替方向乘子法串行和分布式求解Lasso问题，为后面的章节做铺垫。

第4章讨论了如何利用交替方向乘子法对鲁棒性回归问题进行分布式优化求解，并讨论了基于特征划分和样本划分优化求解策略。

第5章讨论了交替方向乘子法在图像处理中的应用，将交替方向乘子法应用到基于全变差模糊图像恢复问题的优化求解中，并将交替方向乘子法应用于遥感图像处理中的全色图与多光谱图融合问题求解。

第6章探索了针对人脸识别应用场景如何建立鲁棒性模型——加权Huber约束稀疏表达模型，并采用交替方向乘子法对新提出的模型进行求解。

第7章探索了针对人脸识别应用场景如何建立自适应鲁棒性模型——自适应加权Huber约束稀疏表达模型，并采用交替方向乘子法对新提出的模型进行求解。

第8章探索了针对传统的多元逻辑回归问题采用极大不相关技术进行扩展，并采用交替方向乘子法对新提出的模型进行求解。

第9章探索了针对传统的稀疏多元逻辑回归问题采用交替方向乘子法进行分布式优化求解，并用Spark实现分布式算法进行实验验证。

第10章探索了针对传统的稀疏回归问题采用较之交替方向乘子法效率更高的分布式优化求解框架——高效分布式优化框架进行分布式优化求解，并采用Spark实现分布式算法进行实验验证。

第11章探索了针对传统的稀疏多元逻辑回归问题采用高效分布式优化框架进行分布式优化求解，并采用Spark实现分布式算法进行实验验证。

在本书撰写过程中，得到两位导师——南开大学数学与科学学院吴春林教授、挪威奥斯陆大学Xing Cai教授的悉心指导和帮助，是他们把我领进了分布式优化的研究领域；在分布式机器学习算法的实现方面，作者曾请教过湖南大学唐卓教授、中国科学院重庆绿色智能技术研究院罗辛教授、重庆邮电大学米建勋副教授，三位老师还热情提供了他们的科研资料。我要感谢我的研究团队在本书撰写中所付出的辛勤努力，他们是杜萌、蒋志杰、张红宇、张策、陈浩、唐建烊、黄杰、申灵和杜加浩。重庆邮电大学计算机科学与技术学院的同事也给予作者不少帮助，在此向他们表示深深的感谢。

作者

2020年12月