私有云存储系统搭建与应用 pdf下载

扫描封底二维码可获得随书免费资源

《私有云存储系统搭建与应用》主要内容大致分为四个部分：第壹部分（第1～3章）介绍Swift存储系统，第二部分（第4、5章）介绍如何搭建基于Swift的私有化存储系统，第三部分（第6、7章）分析企业应用与存储系统的集成方案，第四部分（第8章）介绍应用集成的实例。

《私有云存储系统搭建与应用》的知识体系涵盖了Linux、对象存储、虚拟化、Java、HTTP通信、Web等技术，而这些技术所涉及的业务范围主要是两块：存储系统的运维以及存储系统与应用的集成。即本书的技术方向是企业在数据存储方面的基础设施建设，以及在此基础上实现企业应用与存储系统的集成。

《私有云存储系统搭建与应用》既适合有一定架构设计经验的架构师或项目经理（系统搭建及集成方案），也适合中高级Java程序员（API的实现及应用集成）。

书中代码可免费下载（扫描封底二维码）。

出版说明

前言

第1章 存储系统的演进之路1

1.1 极具年代感的存储系统1

1.2 存储系统的演进历程1

1.2.1 节点能力的提升：从磁盘到磁盘阵列1

1.2.2 存储与服务器剥离：存储网络化2

1.2.3 抽象硬件管理：软件定义存储3

1.2.4 一切皆是对象：对象存储3

1.3 心中的存储系统3

1.4 结语：永无止境的存储系统5

第2章 初识Swift存储系统6

2.1 对象存储系统：OpenStack Swift6

2.1.1 Swift的重要特点6

2.1.2 对象存储的主要特征7

2.1.3 Swift的衡量结果7

2.1.4 Swift的重要概念8

2.2 Swift对开发者的支持8

2.2.1 开源9

2.2.2 对象存储API9

2.3 结语：企业级应用的选择10

第3章 Swift存储系统的架构11

3.1 Swift存储系统的结构11

3.1.1 系统层次结构11

3.1.2 部署规模的定义12

3.1.3 数据存储结构13

3.2 Swift存储系统的应用框架14

3.3 结语：框架决定开局15

第4章 搭建基于Swift的存储系统16

4.1 搭建思路16

4.1.1 部署方式的选择16

4.1.2 部署步骤的调整16

4.2 条件检查17

4.2.1 宿主机CPU是否支持虚拟化17

4.2.2 宿主机操作系统内核检查18

4.2.3 宿主机实验配置和生产配置18

4.3 系统规划18

4.3.1 集群规划18

4.3.2 存储规划19

4.4 准备基础模板虚拟机20

4.4.1 前提条件20

4.4.2 系统设置21

4.4.3 基础工具安装（可选）22

4.4.4 准备专用存储分区22

4.4.5 提取模板虚拟机24

4.5 准备对象存储模板虚拟机24

4.5.1 系统设置24

4.5.2 存储空间准备25

4.5.3 安装依赖项26

4.5.4 下载代码并编译27

4.5.5 配置依赖服务27

4.5.6 准备配置文件31

4.5.7 准备运行脚本37

4.5.8 提取模板虚拟机38

4.6 准备对象存储服务器39

4.6.1 实例化虚拟机39

4.6.2 基础个性化配置40

4.6.3 对象存储系统个性化设置42

4.7 启动对象存储服务44

4.7.1 创建环定义文件44

4.7.2 分发环定义文件（多机环境）45

4.7.3 启动主守护进程45

4.7.4 验证守护进程46

4.8 部署验证46

4.8.1 验证工具47

4.8.2 验证过程47

4.9 优化及调整56

4.9.1 服务进程数调整57

4.9.2 新增内置账户57

4.9.3 设置授权Token的时效57

4.9.4 网络超时设置58

4.10 结语：开启云存储之门58

第5章　存储系统的扩展59

5.1 系统扩展的“套路”59

5.2 纵向扩展：动态扩展虚拟机的能力59

5.2.1 扩展CPU的能力60

5.2.2 扩展内存的容量60

5.2.3 扩展存储的空间60

5.2.4 验证61

5.3 横向扩展：动态调整集群的节点62

5.3.1 扩展思路62

5.3.2 新增节点63

5.3.3 淘汰节点64

5.4 结语：让存储系统“保先”65

第6章　存储系统集成方案66

6.1 存储系统集成的用例66

6.2 B/S应用与存储系统的集成方案66

6.2.1 方案架构66

6.2.2 方案要点67

6.2.3 技术实现思路68

6.3 C/S应用与存储系统的集成方案70

6.3.1 方案架构70

6.3.2 方案要点70

6.3.3 技术实现思路71

6.4 结语：集成之道72

第7章　客户端工具API的实现74

7.1 Swift存储系统的API体系回顾74

7.1.1 账户API规范74

7.1.2 容器API规范74

7.1.3 对象API规范75

7.1.4 大对象API规范75

7.1.5 API规范的特点76

7.2 客户端工具API的实现思路76

7.3 账户验证API：叩开云存储之门80

7.4 账户API：管理你的存储系统81

7.4.1 获取账户下容器列表81

7.4.2 获取元数据83

7.4.3 设置自定义元数据84

7.4.4 删除自定义元数据86

7.5 容器API：管理你的存储空间87

7.5.1 创建容器87

7.5.2 获取元数据89

7.5.3 设置自定义元数据90

7.5.4 删除自定义元数据91

7.5.5 检测容器是否存在93

7.5.6 删除容器94

7.5.7 获取容器中对象列表95

7.6 对象API：管理你的存储内容103

7.6.1 创建对象103

7.6.2 获取元数据105

7.6.3 设置自定义元数据107

7.6.4 设置过期时效108

7.6.5 检测对象是否存在110

7.6.6 获取对象大小（字节数）111

7.6.7 获取对象内容112

7.6.8 删除对象117

7.6.9 复制对象118

7.6.10 移动对象119

7.7 大对象API：有容乃大120

7.7.1 检测是否支持静态大对象（SLO）121

7.7.2 上传分段对象（Segments）122

7.7.3 上传清单（Manifest）124

7.7.4 获取清单126

7.7.5 删除大对象127

7.7.6 复制大对象128

7.8 HTTP通信实现130

7.8.1 HTTP通信的“套路”130

7.8.2 GET方法130

7.8.3 POST方法137

7.8.4 PUT方法139

7.8.5 DELETE方法145

7.8.6 HEAD方法147

7.9 结语：存储一切对象149

第8章　存储系统与Java项目集成实例150

8.1 存储系统与Java项目的集成点150

8.2 Web应用与存储系统集成150

8.2.1 Web应用的集成模式150

8.2.2 集成示例1：文件上传151

8.2.3 集成示例2：显示图片167

8.2.4 集成示例3：下载文件170

8.2.5 Web应用集成小结173

8.3 工具类应用与存储系统集成174

8.3.1 工具类应用的集成模式174

8.3.2 集成示例1：上传文件到存储系统174

8.3.3 集成示例2：从存储系统下载内容177

8.4 应用集成技巧182

8.4.1 访问控制相关182

8.4.2 数据存取相关183

8.5 结语：用存储系统“武装”你的项目184

第9章　虚拟机管理185

9.1 不得不说的KVM185

9.2 条件检查185

9.2.1 宿主机CPU是否支持虚拟化185

9.2.2 宿主机操作系统版本检查186

9.3 安装KVM186

9.3.1 宿主机准备186

9.3.2 安装KVM工具188

9.3.3 安装系统性能监测工具191

9.4 管理你的虚拟机（VM）191

9.4.1 客户端准备191

9.4.2 宿主机准备192

9.4.3 管理虚拟机192

9.4.4 虚拟机镜像文件相关200

9.5 磁盘镜像工具用法详解202

9.5.1 创建/替换镜像文件202

9.5.2 查看镜像文件信息203

9.5.3 检查虚拟机镜像文件203

9.5.4 快照管理204

9.5.5 调整镜像文件大小205

9.6 结语：利器KVM206

第10章　虚拟机的扩展207

10.1 虚拟机扩展存储容量的思路207

10.2 有容乃大的LVM207

10.3 扩展虚拟机的存储容量207

10.3.1 扩展虚拟机镜像207

10.3.2 创建分区208

10.3.3 使用LVM管理新增分区210

第11章　Swift相关工具215

11.1 Swift建环工具215

11.1.1 建环工具简介215

11.1.2 建环工具的使用场景215

11.1.3 建环工具使用详解218

11.2 Swift客户端工具简介222

11.2.1 Swift客户端工具的安装222

11.2.2 Swift客户端工具的使用222

第12章　重要命令详解233

12.1 系统信息相关233

12.1.1 查看CPU信息233

12.1.2 查看内存占用情况233

12.1.3 打印系统信息234

12.1.4 显示进程信息234

12.1.5 查看网络235

12.2 磁盘相关236

12.2.1 磁盘分区236

12.2.2 格式化文件系统237

12.2.3 挂载/卸载设备238

12.2.4 扩展文件系统239

12.2.5 查看文件系统240

12.2.6 查看磁盘使用240

12.2.7 文件链接241

12.3 账户管理242

12.3.1 新增账户243

12.3.2 修改账户密码243

12.3.3 修改账户设置243

12.4 软件安装244

12.4.1 软件包安装工具244

12.4.2 修改更新源244

12.5 服务管理245

12.5.1 systemctl命令方式245

12.5.2 service命令方式245

12.5.3 /etc/init.d/xxx方式246

12.6 工具相关246

12.6.1 流编辑器—sed246

12.6.2 文本搜索—egrep247

12.6.3 参数传送—xargs247

12.6.4 文档打包/提取—tar248

12.6.5 基于SSH的远程复制—scp248

用过阿里云OSS或亚马逊 S3的读者可能都想过这样的问题：能不能在企业内部拥有一套这样的存储系统啊？

扁平化（没有目录结构）、速度快、空间无限、支持并发（分片）、权限控制……这些商业化的云存储服务在用户的脑海中烙下了难以抹去的印记。等到用户回头再看自己企业内部的存储方式/系统：五花八门、无法扩展、设备老化……难免让人感到有天壤之别。

所以本书的第一个主题就是搭建私有化的对象存储系统，且该系统支持集群结构和横向扩展，可实现高可用等。通过调研，本书锁定了OpenStack Swift项目，并成功地搭建了基于Swift的、属于“自己”的对象存储系统。

在解决了存储基础设施的“硬伤”之后，接着就是如何将应用与新建的存储系统进行集成的问题。本书的第二个主题是分析企业应用与对象存储系统的集成方案，并予以实现。最终，本书通过“两头凑”的方式完成了第二个主题：存储系统端从存储API的标准着手，而应用端则从数据存取的场景着手，从而实现存储API与应用场景的匹配。

简而言之，本书从企业在数据存储方面的短板切入，在改善了短板的基础上，继续推进应用与存储系统的集成，从整体上提升企业的信息化水平。

本书特色

本书在内容编排方面具有以下三个特点。

第一，繁简合理，高低兼顾。考虑不同读者的从业经验和技能层次，本书有意识地将内容按照“模块化”进行编排，先将常规操作或专题操作与主题内容进行剥离，再根据内容的难易程度进行适当的衔接或引用。这样既能让有相关基础知识的读者紧跟主线而不觉得啰嗦，又可以保证初学者从相关章节了解主线中要点的细节。

第二，实机操作，实例引导。本书中对于对象存储系统的搭建以及存储系统与企业应用的集成，都是依据真实案例提取，从而保证操作的有效性，而不至于误导读者。

第三，结构合理，循循善诱。本书内容的编排遵循“由表及里、由浅入深，先理论、后实践”的思路。从系统的特点到结构，从系统的介绍到搭建，从操作指引到机制解释，从方案分析到场景实现，循序渐进地引导读者了解Swift存储系统，为搭建自己的存储系统做好铺垫；让读者不仅了解实践过程，而且能够理解其中的思路和原理。

本书内容

第 1 章从存储系统相关的演进切入，旨在让读者了解存储系统的演变过程，同时反思演变的原因和趋势，从而引出软件定义存储、对象存储等概念。第2章全面介绍Swift项目，包括其重要特征和概念，强化读者对对象存储的印象。第3章从结构的层面介绍Swift系统的组成和应用方式，不仅让读者对Swift系统加深理解，还为后续的系统搭建做好铺垫。第4章是本书的核心，详细介绍了如何搭建基于Swift的对象存储系统。操作涉及两种环境：宿主机和虚拟机。目标系统有两种规格：单机环境和多机环境（集群）。第 5 章则是基于所搭建的存储系统，从运维的视角进行扩展，包括纵向扩展和横向扩展。其中横向扩展为存储系统的可用性提供保证，让整个系统具备企业级服务的能力。第6章到第8章主要关注存储系统与应用的集成。第6章对应用与存储系统的集成点进行了全面分析，提出了集成方案。第7章则是依据Swift的存储API框架，实现了“账户/容器/对象”层级的客户端工具API。这些API是应用集成的先决条件。第8章则是依据集成方案，借助客户端工具API实现各种数据存取的应用场景。从第9章到第12章是核心章节（第4章、第5章）中相关操作或知识的专题。其中第9章是对基于KVM的虚拟机管理的介绍。第10章是对虚拟机的扩展，特别是存储空间扩展的介绍。第11章是对Swift建环工具和Swift客户端工具的使用详解。第12章是对书中（包括第9章和第10章）重要命令的详解。

因作者水平有限，书中不免存在疏漏之处，欢迎大家批评指正。