互联网大数据挖掘与分类PDF|Epub|txt|kindle电子书版本网盘下载

互联网大数据挖掘与分类PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

1 绪论1

1.1 背景知识1

1.1.1 研究背景1

1.1.2 研究意义2

1.2 网络测量技术2

1.2.1 网络测量常见对象3

1.2.2 网络测量分析的问题3

1.2.3 单点测量常用方法4

1.2.4 单点网络测量常用工具4

1.2.5 分布式网络测量技术5

1.3 分类算法6

1.3.1 决策树6

1.3.2 贝叶斯分类6

1.3.3 支持向量机8

1.4 C4.5算法9

1.4.1 算法概述9

1.4.2 决策树的分割10

1.4.3 决策树的剪枝11

1.4.4 剪枝实例12

1.4.5 十折交叉验证方法14

1.4.6 测度子集选择方法15

1.5 数据挖掘方法16

1.5.1 聚类方法16

1.5.2 k-近邻算法17

1.6 流数据结构18

1.6.1 Bitmap18

1.6.2 混合Counter19

1.6.3 Count-Min Sketch19

1.6.4 Bloom Filter19

1.6.5 Counter Braids21

1.6.6 BRICK21

1.7 流量测量的评价指标22

1.7.1 误报率和漏报率22

1.7.2 相对误差22

1.7.3 相对差22

1.7.4 熵23

1.8 小结23

参考文献24

2 互联网大数据分析系统27

2.1 系统设计27

2.1.1 总体设计27

2.1.2 数据收集层设计27

2.1.3 并行算法层设计28

2.1.4 查询层设计29

2.2 测度定义30

2.2.1 输入测度30

2.2.2 用户行为测度30

2.2.3 输出测度31

2.3 基于MapReduce测度的计算方法32

2.3.1 单点TCP测度33

2.3.2 并行TCP测度36

2.3.3 流聚合并行方法37

2.3.4 用户行为测度39

2.3.5 并行算法优化43

2.4 系统实现43

2.4.1 存储模块实现43

2.4.2 测度计算模块实现44

2.4.3 用户行为分析模块实现44

2.4.4 查询模块实现46

2.5 实验分析47

2.5.1 实验环境47

2.5.2 实验平台布署48

2.5.3 实验数据集49

2.5.4 实验结果分析50

2.5.5 可扩展性分析51

2.5.6 性能瓶颈分析51

2.6 小结52

参考文献52

3 超点数据流检测方法54

3.1 引言54

3.2 并行数据流方法55

3.2.1 方法描述55

3.2.2 相关定义55

3.2.3 数据结构56

3.2.4 更新归并过程57

3.2.5 链接度估计58

3.2.6 超点检测59

3.3 性能分析60

3.3.1 存储开销60

3.3.2 准确性60

3.3.3 计算性能62

3.4 实验分析62

3.4.1 实验数据63

3.4.2 评价标准63

3.4.3 链接度估计63

3.4.4 参数评估65

3.4.5 算法对比67

3.5 小结70

参考文献70

4 长持续时间流检测方法72

4.1 引言72

4.2 问题定义73

4.3 数据结构74

4.4 基于共享数据结构的检测方法75

4.4.1 方法描述75

4.4.2 方法流程75

4.4.3 实验结果分析77

4.5 基于独立数据结构的检测方法78

4.5.1 方法描述78

4.5.2 方法流程79

4.5.3 性能分析79

4.5.4 实验结果分析80

4.6 小结83

参考文献83

5 大流的自适应抽样识别方法85

5.1 引言85

5.2 大流识别方法86

5.2.1 问题定义86

5.2.2 方法描述86

5.2.3 自适应抽样87

5.2.4 数据划分89

5.2.5 大流识别89

5.3 实验结果分析89

5.3.1 实验环境89

5.3.2 估计精度90

5.3.3 负载均衡91

5.3.4 可扩展性92

5.3.5 数据更新92

5.3.6 Reducer数量92

5.4 小结93

参考文献93

6 流量异常的信息熵检测方法94

6.1 引言94

6.1.1 研究背景94

6.1.2 研究意义95

6.1.3 相关研究95

6.1.4 本章内容99

6.2 信息熵灵敏度分析100

6.2.1 理论分析100

6.2.2 实验分析101

6.2.3 分析结论103

6.3 流量异常检测方法105

6.3.1 测度定义105

6.3.2 基于Kmeans的阈值选择110

6.3.3 正常流量BID学习111

6.3.4 验证方案114

6.4 实验结果分析117

6.4.1 实验环境117

6.4.2 攻击流量获取118

6.4.3 攻击检测能力评估120

6.4.4 检测准确性123

6.5 小结125

参考文献126

7 网页关联分析方法128

7.1 概述128

7.1.1 研究背景128

7.1.2 研究意义129

7.1.3 相关研究130

7.2 网页关联概念133

7.2.1 定义133

7.2.2 问题描述133

7.2.3 输入输出描述133

7.2.4 分类133

7.2.5 网页引用方法134

7.3 基于DPI的网页关联方法134

7.3.1 方法概述134

7.3.2 基于HTTP头信息的引用发现方法134

7.3.3 请求网页父引用提取方法135

7.3.4 HTTP网页解码算法135

7.3.5 基于网页内容的引用发现算法136

7.3.6 父子引用关联方法138

7.4 DPI关联方法实验分析140

7.4.1 在线采集数据分析140

7.4.2 被动测量数据关联分析142

7.5 网页关联存在的问题143

7.5.1 页面悬浮广告143

7.5.2 弹出窗口广告145

7.5.3 link href147

7.5.4 广告关联问题分析147

7.6 算法改进对比148

7.6.1 测试一149

7.6.2 测试二149

7.6.3 测试三151

7.7 基于DFI的网页关联方法152

7.7.1 主流识别规则152

7.7.2 辅流关联方法155

7.7.3 实验结果分析156

7.8 小结160

参考文献161

8 面向网络流的分类方法163

8.1 引言163

8.1.1 测度定义163

8.1.2 背景研究163

8.1.3 研究意义165

8.2 流特征选择方法166

8.2.1 特征选择方法167

8.2.2 混合特征选择170

8.2.3 实验结果分析173

8.3 代价敏感分类方法176

8.3.1 数据重采样177

8.3.2 代价敏感学习179

8.3.3 基于AdaCost的分类算法181

8.3.4 实验结果分析184

8.5 集成学习分类方法186

8.5.1 集成学习基本概念186

8.5.2 基于均值决策的集成学习方法187

8.5.3 基于精度权重的集成学习方法189

8.5.4 基于代价敏感的集成学习方法190

8.5.5 实验结果分析192

8.6 小结196

参考文献197

9 基于覆盖网监测的故障推理200

9.1 研究背景及意义200

9.2 基本概念201

9.2.1 社区的概念201

9.2.2 覆盖网202

9.2.3 chord204

9.3 数据处理208

9.3.1 集中式处理的问题209

9.3.2 负载均衡209

9.3.3 症状数据存取索引211

9.3.4 症状数据预处理212

9.4 故障推理算法214

9.4.1 客户端故障判断算法214

9.4.2 现有方法215

9.4.3 故障推理算法217

9.4.4 算法设计218

9.5 系统设计实现219

9.5.1 系统设计219

9.5.2 实验工具223

9.5.3 实验环境224

9.5.4 实验结果分析225

9.6 小结230

参考文献230