联邦学习原理与应用

《联邦学习原理与应用》由光大科技官方出品，从联邦学习的原理到应用，内容全面。

《联邦学习原理与应用》从联邦学习发展的背景、技术方法和工具的原理、落地实践的详细过程、与金融业务相关的应用案例、应用展望等方面，多角度、多层次地展示联邦学习及其在金融科技行业应用的全貌。

《联邦学习原理与应用》既是关于联邦学习技术和实践方法的介绍，又是关于联邦学习在业界，特别是金融科技行业应用实践的案例展示。

第1章介绍联邦学习的发展背景和历程，以及金融业中数据共享的机遇和挑战。第2章~第5章介绍不同类型的机器学习方法在联邦学习模式下的实现，以及关键算法原理。第6章介绍联邦学习开源框架FATE的架构和部署，以及在金融控股集团内大数据平台上建立跨机构统一数据科学平台的实施方案。第7章从建模者的角度展示了典型建模流程的实战过程。第8章和第9章结合金融相关行业的实践，以多个应用案例和解决方案的形式，介绍联邦学习在营销运营和风险管理等不同业务方向上不同层次的应用实践。第10章从人工智能的不同方向介绍联邦学习应用扩展及前景。附录介绍了联邦学习框架中相关的密码学工具。

《联邦学习原理与应用》适合隐私保护计算研究者（特别是联邦学习技术的研究者）、大数据和人工智能方向的开发者及大数据相关的应用人员阅读参考。《联邦学习原理与应用》为希望使用大数据技术和从事数据分析挖掘的业界人员提供了新的思路和视角。

向小佳，光大科技有限公司副总经理。光大科技有限公司植根于金融科技领域，于2018年就开始探索数据的加密共享。在国内金控领域，他于2018年第一个发起联邦学习应用研究，并将其在风控、营销方面落地，建设了自主可控的联邦学习平台。他曾任中国科学院副研究员和硕士生导师、哥伦比亚大学访问学者、华为架构师。他在云计算、大数据、机器学习领域具有丰富的学术与产业应用经验。他于2010年获得清华大学博士学位，曾参与多个“863”“973”项目，主持国家自然科学基金项目一项，发表期刊和会议论文20余篇。

李琨，光大科技有限公司追光实验室负责人，拥有国内外多个行业数据挖掘建模和算法创新领域的多年实践经验，现在致力于金控集团数据协同和数据挖掘方向的解决方案实现与算法创新。他于2011年获得北京大学计算数学博士学位，发表算法相关的期刊和会议论文10余篇。

王鹏，光大科技有限公司大数据研究团队负责人。他现在负责金控集团联邦学习生态系统的建设和技术创新，参与了多个隐私计算行业标准制定，是联邦学习开源项目FATE专家技术指导委员会成员。他拥有10余年的大数据、人工智能系统设计经验，并在金控集团应用领域中实现了技术创新，其创新成果获得了多项行业奖项。

郑方兰，光大科技有限公司追光实验室技术专家，在多个业务场景中有丰富的数据挖掘经验，现主要致力于开发算法模块解决实际业务问题和算法创新。他于2012年获得博士学位，在国际主流的学术会议和期刊上发表论文10余篇。

田江，工学博士，光大科技有限公司大数据部负责人，在大数据、人工智能领域拥有丰富的理论研究及实践经验，发表国内外期刊和会议论文30余篇，参与起草国家标准《数据管理能力成熟度评估模型》并受聘为评估专家，同时多次获得中国人民银行信息科技课题研究奖项。

在用户隐私数据保护的法律法规陆续出台的今天，金融科技发展所面临的“数据孤岛”问题越发凸显，联邦学习技术应运而生，能够以“数据可用不可见”的形式完成数据价值的共享，推动数据要素的流动，且有望在更多行业中、在更大范围内推广。本书从联邦学习作为机构间分布式数据共享基石的视角出发，系统地阐述其理论、平台和应用场景，既为当前人工智能发展所面临的小数据及隐私保护等挑战提供了解决方案，也有利于解决金融数据合规共享的难题，加速人工智能与金融业务的融合，是一本值得研读的好书。

——黄学军 中国光大集团股份公司协同发展部总经理、雄安新区办公室主任

随着大数据隐私问题的出现，实现数据合规共享、推动多源异构数据的有效融合，已经成为当前学术界和产业界共同面临的重要挑战之一。近年来，联邦学习作为应对这一挑战的一项新技术，受到广泛关注。本书的研究横跨多个领域，介绍了联邦学习的发展背景、理论框架和创新算法，从金融控股集团场景引入，为读者提供了联邦学习在数据要素市场构建、跨机构运营、跨机构风控中的第一手实践材料，是一本值得大数据、人工智能技术与应用及金融科技相关领域从业者参考的好书。

——赵晓芳 中国科学院计算技术研究所网络研究部总工程师、教授级高工、博士生导师

联邦学习作为分布式隐私机器学习的一种创新性探索，已经在我国金融行业里崭露头角，初步显示出其独特的价值与魅力。本书从理论研究、工程实践、行业应用，特别是金融行业应用的角度，进行了系统、丰富、翔实的阐述，对有志于从事这一行业学术研究、技术开发与商业应用的人士，都具有很好的参考价值。

——莫晓康 北京大数据研究院区块链与隐私计算中心主任

本书基于大量案例展现了联邦学习技术在金融领域的应用场景和落地方案，对于金融科技行业的从业者和金融业的IT战略制定者具有比较高的参考价值，应当成为金融IT主管的案头参考书。

——陈天健 联邦学习FATE开源社区创始人

联邦学习是大数据时代金融机构在保护各方隐私的前提下解决“数据孤岛”问题的核心技术，其意义在于促进机构间数据共用共享建模，进而挖掘数据的潜在价值。本书通过简明直白的语言，系统地介绍了联邦学习的基本原理、理论框架、技术平台搭建原则及其在金融领域主要业务场景中的应用等内容，是值得金融科技、人工智能、大数据领域相关技术人员和管理者认真研读的参考书。

——王雪 建信金科极速工场（创新实验室）总经理

近年来，在算法进步与大数据兴起的同时，各行业、各企业之间原始数据的流通与交换面临着更多隐私泄露风险。联邦学习作为解决“数据孤岛”和隐私保护问题的关键技术，已经被广泛关注，并为银行、保险、零售、监管等众多关键领域赋能。光大科技有限公司大数据团队从金融从业者的角度，全面、系统地介绍了联邦学习的发展历史、模型实现、平台搭建、实战应用、扩展与前景，尤其展示了金融科技领域实践案例，为相关研究者、技术开发者和业界应用人员提供了不同业务方向与不同层次的借鉴与参考，颇具学术与实用价值。

——强锋 中国工商银行人工智能实验室资深经理，中国工商银行联邦学习平台负责人

第1章 / 联邦学习与金融科技应用介绍

1.1 联邦学习的发展背景和历程

1.2 金融数据价值挖掘的联邦学习实践

第2章 / 联邦学习算法之建模准备

2.1 联邦学习的分类

2.2 样本对齐的实现方式

2.2.1 基于哈希函数的普通对齐方式

2.2.2 基于非对称加密算法的隐私保护对齐方式

2.3 特征工程的联邦学习实现方式

2.3.1 特征工程简介

2.3.2 联邦特征工程

第3章 / 联邦学习算法之模型实现

3.1 线性模型的联邦学习实现方式

3.1.1 横向联邦学习中的线性模型

3.1.2 纵向联邦学习中的线性模型

3.2 极端梯度提升树的联邦学习实现方式

3.2.1 XGBoost算法介绍

3.2.2 SecureBoost算法介绍

3.3 深度学习类算法的联邦学习实现方式

3.3.1 深度学习的基本概念

3.3.2 常用的深度学习算法介绍

3.3.3 联邦深度学习算法介绍

第4章 / 基于联邦学习的推荐系统

4.1 信息推荐与推荐系统

4.2 矩阵分解和因子分解机的实现方式

4.2.1 基于隐语义模型的推荐算法

4.2.2 矩阵分解算法

4.2.3 因子分解机模型

4.3 联邦推荐系统算法

4.3.1 联邦推荐算法的隐私保护

4.3.2 联邦推荐系统的分类

4.3.3 横向联邦推荐系统

4.3.4 纵向联邦推荐系统

第5章 / 联邦学习应用之数据要素价值

5.1 联邦学习贡献度

5.1.1 背景介绍

5.1.2 基于缺失法的贡献度计算

5.1.3 基于Shapley值的贡献度计算

5.2 基于联邦学习的数据要素交易

5.2.1 数据要素交易的背景与现状

5.2.2 基于联邦学习的交易机制构建

第6章 / 联邦学习平台搭建实践

6.1 联邦学习开源框架介绍

6.2 FATE架构与核心功能

6.3 金融控股集团联邦学习平台简介

6.4 FATE集群部署实践

6.4.1 All-in-one方式部署FATE集群

6.4.2 Docker-Compose方式部署FATE集群

6.4.3 在Kubernetes上部署FATE集群

6.4.4 FATE集群部署验证

6.4.5 FATE集群配置管理及注意事项

6.5 与异构平台对接

6.5.1 与大数据平台对接

6.5.2 与区块链平台对接

6.5.3 多参与方自动统计任务

第7章 / 联邦学习平台实践之建模实战

7.1 横向联邦学习场景

7.1.1 建模问题与环境准备

7.1.2 横向联邦学习建模实践过程

7.2 纵向联邦学习场景

7.2.1 建模问题与环境准备

7.2.2 纵向联邦学习建模实践过程

第8章 / 跨机构联邦学习运营应用案例

8.1 跨机构数据统计

8.2 在交叉营销场景中的联邦学习实践

8.2.1 联邦学习在交叉营销场景中的应用

8.2.2 信用卡交叉营销的联邦学习案例

8.3 联邦规则抽取算法及其在反欺诈与营销场景中的应用

8.3.1 基于F-score的联邦集成树模型和其对应的业务背景

8.3.2 损失函数、剪枝和自动化规则抽取

8.3.3 纵向和横向Fed-FEARE

8.3.4 横向Fed-FEARE应用于金融反欺诈

8.3.5 纵向Fed-FEARE应用于精准营销

第9章 / 跨机构联邦学习风控应用案例

9.1 联邦学习下的评分卡建模实践

9.1.1 背景需求介绍

9.1.2 联邦学习框架下的评分卡建模

9.1.3 联邦学习框架下的评分卡模型优化

9.1.4 应用案例

9.2 对企业客户评估的联邦学习和区块链联合解决方案

9.2.1 金融控股集团内对企业客户评估的应用背景

9.2.2 联邦解决方案的内容

9.2.3 券商对公客户的评级开发

9.3 在保险核保场景中银行保险数据联邦学习实践

9.3.1 保险核保

9.3.2 智能核保

9.3.3 联邦学习与智能核保

第10章 / 联邦学习应用扩展

10.1 基于联邦学习的计算机视觉应用

10.1.1 联邦计算机视觉简述

10.1.2 研究现状与应用展望

10.2 联邦学习在自然语言处理领域的应用

10.2.1 联邦自然语言处理技术进展

10.2.2 联邦自然语言处理应用

10.2.3 挑战与展望

10.3 联邦学习在大健康领域中的应用

10.3.1 联邦学习的大健康应用发展历程

10.3.2 挑战与顾虑

10.4 联邦学习在物联网中的应用

10.4.1 物联网与边缘计算

10.4.2 人工智能物联网

10.4.3 研究现状与挑战

附录1 RSA公钥加密算法

附录2 Paillier半同态加密算法

附录3 安全多方计算的SPDZ协议

参考文献

6.4.4 FATE集群部署验证

在使用三种方式部署完成后，需要进行通信测试来验证FATE集群是否成功安装，FATE提供了run_test、toy_example和min_test_task测试。其中，run_test是单元测试，用于测试本地环境安装是否正确、完整。toy_example利用两方求和测试两方Party的联通性及各组件是否可用。min_test_task从特征选择、特征工程、模型训练到模型预测模拟一个完整的联合建模过程来进行测试。

1. run_test单元测试

在Guest方和Host方执行以下命令进行单元测试：

CONTAINER_ID=`docker ps -aqf "name=fate"`

docker exec -t -i ${CONTAINER_ID} bash

bash ./python/federatedml/test/run_test.sh

若屏幕显示以下内容，则表示测试成功：

there are 0 failed test

2. toy_example测试

只需要到Guest方的/data/projects/fate/python/examples/toy_example/目录下执行：

python run_toy_example.py ${guest_party_id} ${host_party_id} ${work_mode}

其中，work_mode为0表示单机版本，为1表示集群版本。我们的实验节点是采用集群方式部署的。一旦任务发起，服务器上就可能会返回以下信息。

（1）Party ID错误或者通信模块错误。

在任务发起后，若屏幕上没有立刻输出信息，则通信可能失败，可能是guest_party_id和host_party_id错误，也可能是通信模块安装失败。

（2）EggRoll或通信错误。

如果屏幕上输出jobid，并且显示“job running time exceed”，那么检查通信或者Host方的EggRoll日志。否则，检查Guest方的EggRoll日志。

（3）任务成功，日志显示成功。

3. min_test_task测试

本案例主要测试数据上传、求交集、算法。

在Host方中执行：

sh run.sh host ${task}

task可选择fast或normal，fast将使用FATE提供的breast数据集，normal将使用credit数据集。在执行该命令后，得到上传数据的表名和表空间，需要将其告知Guest方。

在Guest方中执行：

sh run.sh guest ${task} ${host_table_name} ${host_namespace}

需要注意以下三点：

（1）在用All-in-one方式执行命令前需要先初始化环境变量：

source /data/projects/fate/init_env.sh

（2）在Docker环境下进入python容器的命令：

docker exec -it ${容器名} bash

（3）在Kubernetes环境下进入python容器的命令：

kubectl exec -it ${容器名} -n ${namespace} --/bin/bash

“数据是新时代的石油”。石油需要经过勘探、开采、提炼才能成为石化产品，服务人类，体现价值。数据同样需要经过治理和挖掘才能产生价值。在数据治理和挖掘的过程中，数据的应用面临很多困难和挑战。解决“数据孤岛”问题是其中最突出的难点。隐私保护是近年来从个人用户到政府都高度关注的内容。如何在保护个人隐私和数据安全的情况下，实现跨机构的数据联合使用，是当前大数据产业和人工智能技术应用的重要课题与探索方向。

2020年被认为是国内联邦学习和隐私保护计算的应用元年。无论是掌握最丰富数据资源的互联网“大厂”，掌握大量金融数据的银行和丰富通信数据的电信企业，还是传统的提供数据服务的第三方科技公司，都开始布局联邦学习，或提出应用架构框架，或结合业务建立行业解决方案。这既是数据共享和价值挖掘有着巨大的应用需求与价值的表现，也是面对严格的法律和监管要求，数据相关工作的一种必然的选择。

联邦学习作为一种隐私保护计算技术，为数据的联合建模和价值挖掘提供了可行的解决路径，正在实践中高速发展。在金融科技发展的过程中，对于数据的跨机构联合使用有强烈的应用需求。在服务中国光大集团打造世界一流金融控股集团的战略目标过程中，特别是在服务集团数字化转型和E-SBU协同战略的实践中，光大科技有限公司作为集团科技创新的实践者，聚焦数字化、智能化，从2019年年初就开始积极跟进联邦学习的最新发展，加入联邦学习FATE开源社区并提交代码为社区做贡献，积极参与行业技术标准的制定。光大科技有限公司在集团协同场景中探索，并在中国光大集团数据港上打造联邦学习平台，帮助集团内成员企业实现跨机构联合数据应用。

作为金融科技行业的参与者，我们把在联邦学习上的探索和实践经验分享给业界，希望为大数据和人工智能在金融行业的落地应用、数字经济发展和国有企业数字化转型贡献一份力量。这也是我们编写本书的初心和动机。我们尝试从联邦学习发展的背景、技术方法和工具的原理、落地实践的详细过程、与金融业务相关的应用案例、应用展望等方面，多角度、多层次地展示联邦学习及其在金融科技行业应用的全貌。

在编写本书的过程中，特别是在资料收集方面，我们得到了光大科技有限公司大数据部同事的大力帮助，在此特别向张明锐、凌立、周权、魏乐、额日和、卢格润、彭成霞、原田、毕光耀、樊昕晔、李钰、王义文、解巧巧等表示衷心的感谢。本书的编写和出版得到了电子工业出版社博文视点公司石悦老师，从选题策划到布局谋篇等方面的帮助。我们也对石悦老师表达感谢。此外，我们还要特别感谢香港科技大学的杨强教授和联邦学习FATE开源社区创始人陈天健，他们阅读了本书初稿并提出了很多宝贵的意见和建议，使我们对FATE框架的介绍更加准确与深入。

最后，我们还要感谢光大科技有限公司和中国光大集团，以及集团内的其他成员企业。它们鼎力支持，并提供了强大的技术平台和良好的协同环境，让我们能够最终完成本书的写作。