互联网流量大数据工程

　　《互联网流量大数据工程》在全面介绍互联网流量大数据获取、索引、存储和分析等基本知识的基础上，着重介绍基于多级过滤器和空时BloomFilter的流量测量技术、基于网包调度的流量管理技术、基于模式匹配的攻击检测技术、基于流式计算的实时攻击检测方法、基于流量分析的互联化安全软件的行为分析和基于大数据平台的互联网流量存储与处理的方法，并通过中国联通研究院的移动互联网监控平台和互联网企业流量大数据平台的实际例子，说明这些技术的具体应用，全书提供了大量应用实例。
　　全书共分8章：第1章介绍互联网流量大数据背景，包括移动互联网发展态势。第2章介绍互联网流量测量与带宽管理，着重介绍高速网络流量测量与网包调度算法及应用。第3章介绍互联网流量归档与查询，该技术是流量大数据运营的前提。第4章介绍互联网流量大数据存储，大数据存储是流量大数据运营的基础，当前流行的大数据存储架构为HDFS/HBase技术。第5章介绍互联网流量攻击检测的流扫描和多模匹配HBM算法等关键技术。当前网络攻击形式更加多样化，如何高效深度分析网流内容，查找网络攻击源头是流量大数据的一个创新应用。第6章介绍互联网流量大数据的网络攻击检测，网络攻击实时检测是保障互联网服务安全的重要手段，介绍了互联网企业在保障业务安全中的攻击检测手段。第7章介绍互联网化软件流量行为分析。互联化终端软件是通过云计算平台部署的，能够充分利用互联网基础服务。在改善用户体验的同时，也会带来用户隐私泄露的隐患。第8章回顾了前7章内容，总结全书。
　　《互联网流量大数据工程》适合作为高等院校计算机系统架构、计算机网络及安全专业高年级本科生、研究生的教材，同时可供对计算机网络比较熟悉并且对大数据平台有所了解的开发人员、广大科技工作者和研究人员参考。

　　陈震清华大学信研院副研究员，目前在互联网安全领域从事基础与应用研究，提出了应用于网络安全的字符串匹配HBM算法、字符串匹配ACST后缀树算法，提出了应用于网络流量检索的位图索引编码的SECCOMPAX、ICX和MASC方法。目前发表论文80余篇，其中3篇研究论文均在IEEExplore数据库Top100排行榜上，下载量超过3万多次。研究论文Cloud Computing-Based Forensic Analysis for Collaborative Network Security Management System连续2个月（2013年7月和8月）位列IEEEXplore数据库2013年Topl00排行榜第1名，2个月排行第2名。编著图书3本，并获得973计划、863计划、国家自然科学基金资助。协助指导已毕业研究生30余人，指导研究生连续两次获得清华大学校级优秀硕士毕业论文，指导本科生获得2013年SRT优秀项目校二等奖。指导5名本科同学获得国家和北京市级创新创业项目。

　　★中国联通移动互联网大数据平台有效解决了运营商移动互联网发展所带来的海量数据高效存储和处理的技术难题，为移动互联网的快速和健康发展奠定了基础，具有国际领先水平和重要的社会效益和经济效益。
　　——中国工程院院士 邬贺铨
　　
　　★中国联通移动互联网大数据平台解决了海量数据快速检索与分析这一公认难题，整个系统是电信领域非常领先的系统。这个大数据平台是电信领域规模最大的。
　　——法国电信专家 Haila Wang
　　
　　★中国联通移动互联网大数据平台解决了过去多年来我们面临的移动互联网海量数据高速增长所带来的多项挑战，是电信领域大数据处理方案的最好范例。
　　——西班牙电信专家 Caspar Luyten
　　
　　★互联网流量安全取证是当前网络安全的一个热点问题。如何有效检测那些意图逃避或已逃避检测的网络攻击流量，这是一个巨大挑战。从海量互联网流量的数据中抽取安全事件的蛛丝马迹，还原攻击行为，应用大数据的技术，让人看到了希望。
　　——网络安全专家 韩超
　　
　　★清华大学信研院网络安全团队，在互联网流量大数据的安全分析方面基础雄厚。研究团队的流量取证分析论文，是我所知的国内期刊在IEEE国际平台上，全球论文下载量最大的，多次排名榜首。这个领域的研究成果令人瞩目。
　　——清华学报英文版执行主编 陈禾

第1章 互联网流量大数据背景
1.1 网络流量记录与分析
1.2 网络流量研究现状
1.2.1 网流信息的归档与查询
1.2.2 网络流量的归档与查询
1.2.3 对研究现状的分析
1.3 互联网流量大数据平台
1.4 国际前沿进展
1.5 小结
参考文献

第2章 互联网流量测量与带宽管理
2.1 流量测量概述
2.1.1 Internet流量测量
2.1.2 流量测量的难点
2.1.3 流量测量的目的
2.1.4 网络测量与流量测量
2.1.5 流量测量的分类
2.1.6 离线测量与实时测量
2.2 现有算法研究工作
2.2.1 原始记录算法及其存在的问题
2.2.2 解决问题的思路
2.2.3 采样算法
2.2.4 Multi Stage Filter算法
2.2.5 Multi Resolution Space Code Bloom Filter算法
2.2.6 其他算法18互联网流量大数据工程
2.2.7 工业界的解决方案
2.2.8 NetFlow介绍
2.2.9 NetFlow卡的工作原理
2.3 流量管理概述
2.3.1 流量管理定义
2.3.2 流量控制
2.3.3 高速流量管理调度算法比较与分析
2.3.4 现有流量管理系统
2.3.5 协同式流量管理系统
2.4 结束语
参考文献

第3章 互联网流量档案化
3.1 高速网包获取的关键技术
3.1.1 网包
3.1.2 Linux NAPI
3.1.3 libpcap
3.1.4 PF_RING
3.1.5 Netmap
3.1.6 Scap
3.2 网包位图索引压缩算法
3.2.1 位图索引数据库
3.2.2 WAH索引压缩算法
3.2.3 PLWAH算法
3.2.4 COMPAX算法
3.3 流量归档查询系统
3.3.1 基于关系数据库的系统实现
3.3.2 TM系统
3.3.3 TIFA系统实现［14］
3.3.4 TIFAflow系统［15］［16］
3.3.5 NET FLI流记录压缩与查询系统
3.3.6 H
3.4 处理平台展望
3.4.1 多核处理平台［17］
3.4.2 GPU方法［18］
3.5 小结
参考文献

第4章 互联网流量大数据存储
4.1 流量大数据 移动互联网增长背景
4.2 流量大数据 采集、获取与归集
4.3 流量大数据 平台架构及系统实现
4.3.1 Hadoop集群
4.3.2 HBase集群
4.3.3 优化策略
4.3.4 HBase与DatabaseX比较
4.4 流量大数据 经营与挑战
4.4.1 流量大数据经营
4.4.2 流量大数据-挑战
4.5 流量大数据-总结
参考文献

第5章 互联网流量攻击检测关键技术
5.1 网包处理流程
5.1.1 系统结构
5.1.2 功能模块图
5.1.3 多核组织模式
5.2 多模匹配算法概述
5.2.1 Bloom Filter算法及其改进
5.2.2 AC算法及其改进
5.2.3 BM算法的推广型
5.3 基于Bloom Filter的匹配引擎
5.3.1 Bloom Filter算法
5.3.2 参数选择
5.3.3 散列函数选择
5.4 基于HBM算法的匹配引擎
5.4.1 记号和假设
5.4.2 BM算法回顾
5.4.3 HBM算法概述
5.4.4 HBM算法的初始化流程
5.4.5 HBM算法运行流程
5.4.6 HBM算法在多核平台上的优化
5.4.7 HBM算法的证明与分析
5.5 实验与分析
5.5.1 实验环境
5.5.2 基于Bloom Filter算法的引擎性能
5.5.3 基于HBM算法的引擎性能
5.6 本章 小结和展望
参考文献

第6章 互联网流量攻击检测实例
6.1 数据中心的服务监测
6.2 互联网服务访问行为分析
6.3 互联网服务抗DDoS攻击
6.4 互联网安全实时对抗
6.5 网络攻击检测与流式处理
6.5.1 Twitter Storm流计算
6.5.2 Yahoo!S4分布式流计算平台
6.5.3 Facebook DataFreeway/Puma3
6.5.4 Apache Spark平台
参考文献

第7章 互联网化软件流量行为分析
7.1 安全软件简介
7.2 测试方案
7.2.1 测试环境
7.2.2 测试方法
7.3 网络流量分析
7.3.1 流量包进行统计
7.3.2 网络行为频率分析
7.3.3 网络行为数目分析
7.3.4 网络行为间隔累积分布对比
7.3.5 朱雀网络行为分析
7.3.6 玄武网络行为分析
7.3.7 远程通信地址分析
7.4 流量分析结论
参考文献

附录A 联通大数据平台流量记录格式
附录B 联通大数据平台测试环境

　　随着互联网应用的普及和渗透，宽带移动无线网络的大规模商用，整个互联网流量总量高速增长。移动用户可以通过任何设备，在任何地方，获取任何想要的内容，产生了大规模的移动流量数据。据思科公司报告 [1 ]预言，互联网的流量数据在2011到2016年之间将增长4倍，并于2016年达到1.3ZB(1ZB=1021B)。据中国联通公司统计，2012—2013年，移动用户流量的复合增长率为135%，3G月均流量增长最高。而对于一家大型的互联网公司（如百度、淘宝、腾讯等），在日常运营中生成和累积的用户行为数据是相当庞大的，往往达到TB(1TB＝1012B)级甚至PB(1PB＝1015B)级的数据。如此庞大的数据流量的管理是一个具有挑战性的问题，需要一整套大数据存储、处理和分析平台。
　　本书详细探讨了互联网流量大数据的获取、存储、分析和处理的关键技术，如网包在线抓取，流量档案化，索引及索引压缩算法，基于HDFS与HBase的分布式可扩展并行存储与分析架构，应用于攻击检测的模式匹配算法，面向流式与实时计算的大数据架构及处理方法。在此基础上，对流量大数据进行深入分析挖掘，如用户行为分析、攻击检测和应用软件行为分析等。同时，互联网流量测量也是运营商管理网络的基本手段，诊断可能存在的性能瓶颈，发现网络链路故障。通过流量带宽管理手段，对不同优先级的网络流量进行分级管理，实现网络的最优化运营。对互联网流量大数据分析，可以实时在网络上监控发生的每一个请求、服务、交易；对途经流量进行深层次报文分析（DPI)，重组应用层有效信息，双向匹配请求/服务并记录，从而尽最大可能发现各种安全攻击，并进行实时阻断。中国联通公司进一步提出了流量大数据产业经济方案，基于流量大数据的生态系统产业经济建设的方案，联合多个合作方，包括基础框架服务商ISP、运营商的大数据服务商、大数据分析与挖掘企业和内容与客户端应用商。
　　本书内容经过10多年实际科研项目工作积累使用，选取的内容力求丰富全面，基本概念的讲解细致，深入浅出。该书作者长时间在互联网网络安全领域从事研究，熟悉分布式系统、互联网安全和软件可信性分析，尤其对该书投入巨大精力，尽可能让读者在较短时间内全面把握互联网流量的获取和分析处理，并应用于实际工作中。
　　作者
　　2014年5月
　　本书得到国家973项目（未来互联网体系结构与机制研究）和国家自然基金项目（下一代互联网安全与隐私关键性技术的研究）的支持。
　　本书的内容是研究工作的集成，旨在系统化反映整体的研究进展，主要概括了研究组自2004年以来的研究成果。其中许多段落直接来自同学的博士和硕士论文与调研报告，他们是韩阜业、梁勇、阮凌云、倪嘉、阮东华和蒙金莉等。
　　以下同学参与了本书整理工作，他们是董文宇（第2章和第4章）、李航（第3章）、曹彬（第7章）、谢珍真等同学参与了本书的编写工作。
　　感谢清华大学计算机系网络安全及性能评价实验室QoSlab的NP组的倪嘉、阮东华、岳峣、谭章熹、郑波和洪孙安(Peter Ungsunan)等在网络处理器上的科研工作。
　　感谢清华大学信息技术研究院网络安全实验室NSLAB的CORS组的周晋博士、唐力博士、张辉博士、张志明博士、李光华、杜剑和郭瑛等在覆盖网的科研工作。
　　感谢清华信息技术国家实验室李军教授、汪东升教授、尹浩教授、邢春晓教授和任丰原教授等的支持和鼓励