云计算导论：从应用视角开启云计算之门 pdf下载

第1章 绪论

1．1 摩尔定律

1．2 云计算的出现

1．3 从领域应用需求看云计算

1．3．1 城市交通系统概述

1．3．2 信息处理基础设施需求

1．3．3 海量数据集成和处理的需求

1．3．4 多应用系统集成和协同的需求

1．3．5 传统技术面临的挑战

1．4 云计算能带来什么

1．5 如何尽快学好云计算

1．6 思考题

第2章 云计算初探

2．1 云计算的定义和基本特征

2．2 云计算的发展动因和沿革

2．2．1 计算模式的演变

2．2．2 互联网基础设施的演变

2．2．3 数据管理的演变

2．2．4 应用软件形态的演变

2．2．5 人机交互方式的演变

2．3 云基础设施体系架构与核心技术

2．4 搭建和使用云基础设施所要解决的核心问题

2．5 小结

2．6 思考题

第3章 如何实现连网设备的优化利用与弹性伸缩

3．1 引言

3．2 虚拟化

3．2．1 虚拟化的定义

3．2．2 虚拟化的历史沿革与分类

3．3 服务器虚拟化

3．3．1 核心概念

3．3．2 关键特性

3．3．3 面临的问题

3．4 服务器虚拟化关键技术

3．4．1 服务器虚拟化的实施过程

3．4．2 动态资源优化

3．4．3 虚拟机迁移

3．5 虚拟化资源环境建设与管理

3．5．1 虚拟化资源管理平台体系架构

3．5．2 虚拟化资源管理平台模块功能

3．5．3 虚拟化资源管理平台管理流程

3．6 小结

3．7 思考题

第4章 如何实现大规模数据的弹性存储

4．1 引言

4．2 弹性存储的核心问题

4．2．1 命名空间

4．2．2 元数据管理

4．2．3 故障和错误处理

4．2．4 性能和效率

4．3 HDFS

4．3．1 HDFS的目标和基本假设条件

4．3．2 HDFS体系架构

4．3．3 性能保障

4．3．4 访问接口

4．4 HDFS的管理与应用

4．4．1 基于命令行的管理与应用

4．4．2 基于Java API的管理与应用

4．5 应用实例：视频文件管理系统

4．5．1 需求分析

4．5．2 系统设计

4．5．3 系统实现

4．6 小结

4．7 思考题

第5章 如何实现海量多元数据的高效管理

5．1 引言

5．2 NoSQL数据库

5．2．1 NoSQL数据库设计原理

5．2．2 NoSQL数据库数据模型

5．2．3 NoSQL数据库的数据划分技术

5．2．4 NoSQL数据库及其分类

5．2．5 NoSQL数据库的优势和劣势

5．3 HBase数据库系统

5．3．1 数据模型

5．3．2 系统架构

5．3．3 HBase访问接口

5．4 HBase的管理与应用

5．4．1 基于命令行的管理与应用

5．4．2 基于Java API的管理与应用

5．5 应用实例：交通监控图片管理

5．5．1 需求分析

5．5．2 系统设计

5．5．3 系统实现

5．6 小结

5．7 思考题

第6章 如何实现大规模数据的并行分析与处理

6．1 引言

6．2 MapReduce的由来和原理

6．2．1 一个朴素的单词计数程序

6．2．2 多线程并行化单词计数程序

6．2．3 使用分块存储的单词计数程序

6．2．4 在多台计算机上并行运行的单词计数程序

6．2．5 MapReduce的提出

6．2．6 MapReduce的设计思想

6．3 MapReduce的开源实现――Hadoop

6．3．1 Hadoop运行环境

6．3．2 Hadoop工作流程

6．3．3 Hadoop作业运行机制

6．4 Hadoop中的数据类型和格式

6．4．1 文件输入

6．4．2 其他输入格式

6．4．3 输出格式

6．5 Hadoop编程案例

6．5．1 单词计数程序例子回顾

6．5．2 数据去重

6．5．3 数据排序

6．6 小结

6．7 思考题

第7章 如何利用云中的各类资源

7．1 引言

7．2 服务计算基础

7．2．1 服务的基本概念

7．2．2 SOA基本原理

7．2．3 Web服务的两种基本形态

7．3 云服务与一切皆服务的交付模式

7．3．1 云服务的定义和分类

7．3．2 XaaS与一切皆服务的交付模式

7．3．3 云服务案例

7．4 服务开发实践

7．4．1 Java与Web服务开发

7．4．2 SOAP服务开发实践

7．4．3 REST服务开发实践

7．5 小结

7．6 思考题

第8章 如何进行云应用开发

8．1 引言

8．2 面向多租户的云应用设计

8．2．1 多租户与应用交付模式

8．2．2 多租户应用的设计要求

8．2．3 多租户应用的实现方法

8．2．4 业界现状

8．3 基于服务组合的云应用开发方法

8．3．1 面向IT开发人员的服务组合

8．3．2 面向最终用户的服务组合

8．4 云应用的部署

8．5 小结

8．6 思考题

第9章 如何保证安全

9．1 引言

9．2 云基础设施安全

9．2．1 网络硬件安全

9．2．2 主机系统安全

9．2．3 安全管理

9．3 云数据安全

9．3．1 数据存储安全

9．3．2 数据访问安全

9．3．3 数据管理安全

9．4 云应用安全

9．4．1 用户认证

9．4．2 应用授权

9．5 云安全标准和法律法规

9．6 小结

9．7 思考题

第10章 综合实践：交通流量监控

10．1 引言

10．2 需求分析

10．3 基础环境搭建

10．4 数据准备

10．5 数据统计和索引

10．6 查询接口封装

10．7 应用界面开发

10．8 云应用开发总结

10．9 思考题

附录A OpenStack的安装与配置

A．1 总体规划

A．2 操作系统准备

A．3 安装OPENSTACK组件

A．4 KEYSTONE的配置、运行与测试

A．5 GLANCE的配置、运行与测试

A．6 NOVA的配置、运行与测试

A．7 HORIZON的配置、运行与测试

A．8 安装与配置计算节点

附录B Hadoop的安装与配置

B．1 环境准备

B．2 配置在单节点（伪分布式）环境下运行HADOOP

B．3 在多节点（分布式）环境下运行HADOOP

B．4 运行WORDCOUNT词频统计程序

附录C HBase的安装与配置

C．1 单机版

C．2 伪分布模式

C．3 完全分布模式

参考文献

　　（3）数据类型多。交通数据由于产生的来源广泛，处理的方法多样，其数据类型繁多，包括文本、图片、视频、二维图表等多种类型。

　　（4）价值复杂。这表现在价值密度降低，但是价值提高。由于数据产生量大，产生频率高，使得数据本身的价值密度降低。以交通监控视频为例，连续24小时的监控视频，可能仅有2秒钟有用，但是这2秒钟的数据产生的作用非常大，比如协助抓获了犯罪分子。

　　面对具有这些特点的数据，普通的单个服务器无法满足数据的存储和管理要求，同时也无法在短时间内完成计算任务，必须借助海量计算能力来完成。用传统技术处理交通数据时会面临以下挑战。

　　首先是，数据存储方面的挑战。PB级交通数据是传统的单机版文件系统所不能够胜任的，需要能够存储海量数据的分布式文件系统。但是购置分布式文件系统与硬件又需要花费不小的费用，在摩尔定律作用下，低端服务器是最佳选择。但是，与专业的高性能和高可靠小型机、大型机等高端服务器相比，低端服务器较容易发生硬件故障，服务器硬件出错是正常而非异常的。由大量廉价、易损的硬件组成的系统，必须保持文件系统整体的可靠性。因此，在一堆廉价但不可靠的硬件上构建可靠的分布式文件系统是当前分布式文件系统面临的重要挑战。

　　其次是，数据管理方面的挑战。传统的数据库技术在管理多类型的交通数据方面，显得力不从心。主要有以下几个方面的原因。

　　（1）数据可靠性的挑战。海量的数据增长和快速的变化，需要不断增加和调整服务器和存储设备。这就要求海量数据的数据库管理系统在保障可靠性方面充分考虑到底层硬件的不可靠性，即使服务器节点出现宕机的情况，也不会造成数据的丢失，数据的恢复也不能对当前的管理系统正常运行造成任何影响。

　　（2）对多类型的数据进行管理的挑战。前面说过，城市交通系统针对结构化和非结构化的数据，其模式通常是不固定的。而传统关系型数据库表结构固定，不擅长处理模式不确定的数据，需要一种新型结构的分布式数据库管理系统来管理模式不固定的数据。

　　（3）可扩展性的挑战。对传统关系数据库来说，数据范式是一种帮助人们又快又好地设计数据库的手段，严格按范式设计的数据库能为用户提供正确、丰富、灵活的查询选项。但模式分解导致数据表多，使得其只有在同一个服务器节点上进行扩展时才比较方便，并不适合在分布式环境下进行扩展。以协同布控应用场景为例，按照传统关系型数据库设计的部分表结构（图中对涉及用户隐私的具体信息使用“x”符号代替），关于车主的信息散落在车牌识别数据库表、基本信息数据库表、通话记录数据库表等多个数据库表中，如图1．3所示。由于车牌识别数据和通话记录数据量很大，在分布式环境下，当一台服务器容量不够时，需要将数据划分后扩展到新的节点上。若按照该表结构设计进行扩展，很容易造成一个车主的不同信息散落于不同的节点上，在查询车主的所有相关信息时，不得不涉及不同服务器上数据库表的关联操作。

　　……