中国科协新一代信息技术系列丛书 大数据导论PDF|Epub|txt|kindle电子书版本网盘下载

中国科协新一代信息技术系列丛书 大数据导论PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

基础篇3

第1章 绪论3

1.1概述3

1.1.1数据4

1.1.2数据中蕴含的价值6

1.1.3获取数据中蕴含的价值8

1.2大数据的内涵和外延9

1.2.1大数据时代的驱动力9

1.2.2大数据的概念和特征10

1.2.3大数据带来的思维模式改变12

1.2.4大数据的作用和意义13

1.3大数据的技术挑战和科学意义15

1.3.1数据处理的一般过程16

1.3.2大数据计算面临的挑战17

1.3.3大数据计算的特点18

1.3.4大数据计算平台19

1.3.5大数据与云计算、人工智能的关系20

1.4数据科学22

1.4.1数据科学的提出23

1.4.2数据科学的范畴23

1.4.3数据科学对学科发展的影响24

习题25

参考文献及扩展阅读资料26

技术篇29

第2章 数据采集与治理29

2.1概述30

2.2大数据的来源与多源数据的采集方式30

2.2.1大数据的来源30

2.2.2多源数据的采集31

2.2.3数据离散化33

2.3数据集成和跨界应用的数据集成方法34

2.3.1数据集成的定义与形式34

2.3.2传统数据集成35

2.3.3跨界数据集成38

2.4数据的预处理40

2.4.1数据变换40

2.4.2数据质量的检验与提升41

习题44

参考文献及扩展阅读资料44

第3章 数据管理46

3.1概述46

3.2关系数据库47

3.2.1关系数据模型48

3.2.2结构化查询语言51

3.2.3数据库事务52

3.2.4关系数据库管理系统53

3.3分布式文件系统54

3.3.1Hadoop55

3.3.2Ceph57

3.3.3GlusterFS59

3.3.4分布式文件系统对比60

3.4新型数据管理与查询系统61

3.4.1NoSQL数据库61

3.4.2SQL on Hadoop系统65

习题68

参考文献及扩展阅读资料68

第4章 数据分析69

4.1概述69

4.2统计数据分析71

4.2.1数据描述性分析71

4.2.2回归分析74

4.3基于机器学习的数据分析76

4.3.1非监督学习方法77

4.3.2监督学习方法77

4.4图的数据分析84

4.4.1图的基本概念85

4.4.2中心性和相似性分析86

4.4.3社交网络上的算法89

4.5自然语言中的数据分析92

4.5.1词表示分析92

4.5.2语言模型94

4.5.3话题模型95

习题96

参考文献及扩展阅读资料96

第5章 数据可视化98

5.1概述98

5.2数据可视化主要技术101

5.2.1高维数据可视化102

5.2.2网络数据可视化106

5.2.3层次结构数据可视化109

5.2.4时空数据可视化112

5.2.5文本数据可视化115

5.3高可扩展可视化技术117

5.3.1科学可视化中的高可扩展性117

5.3.2支持数据高效的存储和检索的可视化121

5.3.3支持可扩展可视化的交互手段123

5.4大数据可视化与可视分析案例125

5.4.1VAST Challenge 2017的可视分析案例125

5.4.2车辆轨迹数据的可视分析案例128

5.5可视化工具和软件131

5.5.1高维数据可视化工具131

5.5.2文本可视化工具132

5.5.3网络可视化工具132

5.5.4可视化编程工具132

习题132

参考文献及扩展阅读资料132

第6章 数据安全与隐私保护135

6.1概述135

6.1.1数据安全与传统信息安全的共异点136

6.1.2数据采集及传输中的安全与隐私136

6.1.3数据存储的安全与隐私138

6.1.4数据分析挖掘及处理的安全与隐私138

6.1.5数据交互、共享与服务的安全与隐私139

6.2数据安全及隐私保护支撑技术140

6.2.1密码学基础及关键技术140

6.2.2公钥基础设施146

6.2.3授权管理基础设施147

6.2.4PKI与PMI协同工作原理148

6.2.5秘密分割与共享管理技术149

6.3数据脱敏技术与实践150

6.3.1数据交互安全与脱敏技术150

6.3.2静态数据脱敏技术150

6.3.3动态数据脱敏技术150

6.3.4数据脱敏实例151

6.4数据生命周期安全的防护及管理体系151

6.4.1数据安全防护体系151

6.4.2数据安全标准153

6.4.3数据生命周期安全实施方案与数据安全管理154

习题155

参考文献及扩展阅读资料155

第7章 大数据处理平台157

7.1概述157

7.2大数据处理平台架构158

7.2.1技术架构158

7.2.2开源平台159

7.3批量大数据计算161

7.3.1基本概念161

7.3.2典型批量计算系统162

7.3.3实例：微博用户群体年度热词统计164

7.4流式大数据计算166

7.4.1基本概念166

7.4.2典型流式计算系统168

7.4.3实例：微博用户群体实时热门话题分析169

7.5大规模图数据计算170

7.5.1基本概念170

7.5.2典型图计算系统172

7.5.3实例：微博用户影响力排名174

习题175

参考文献及扩展阅读资料176

应用篇179

第8章 社会网络大数据179

8.1概述179

8.2社会网络大数据面临的挑战181

8.3社会网络中的用户影响力182

8.3.1影响力检测实验183

8.3.2影响力传播模型185

8.3.3影响力度量算法186

8.3.4社会影响力应用186

8.4在线社会媒体中信息传播的建模与预测187

8.4.1网络信息传播模型187

8.4.2传播网络推断188

8.4.3影响力最大化188

8.4.4信息传播预测189

习题192

参考文献及扩展阅读资料192

第9章 城市大数据194

9.1概述194

9.1.1城市数据的分类195

9.1.2城市数据的特点195

9.2智慧城市197

9.2.1智慧城市的概念197

9.2.2智慧城市的发展现状198

9.2.3智慧城市的未来趋势199

9.3智慧城市的技术体系框架200

9.3.1智慧城市的技术框架200

9.3.2以数据为中心的智慧城市特点201

9.3.3智慧城市中的典型应用与服务203

9.4城市大数据应用案例205

9.4.1交通大数据的来源与种类206

9.4.2交通大数据的分析与处理206

9.4.3交通大数据的应用成果207

9.5城市大数据未来展望208

习题209

参考文献及扩展阅读资料210

第10章 工业大数据211

10.1概述211

10.1.1工业大数据的内涵212

10.1.2工业大数据的特点213

10.2工业大数据典型应用场景218

10.2.1现有业务优化218

10.2.2促进企业升级转型219

10.3工业大数据分析技术220

10.3.1工业大数据分析工作准备221

10.3.2工业大数据分析工作实施222

10.3.3工业大数据分析关键技术225

10.4工业大数据分析案例226

10.4.1大唐集团工业大数据应用实践226

10.4.2中联重科工业大数据应用实践229

习题233

参考文献及扩展阅读资料233

第11章 教育大数据234

11.1概述234

11.2教育大数据的采集与应用场景235

11.2.1信息化校园236

11.2.2智能辅导系统和在线题库238

11.2.3大规模开放式在线课程239

11.3认知诊断分析241

11.3.1认知诊断任务描述242

11.3.2经典认知诊断方法242

11.3.3基于大数据的协同认知诊断244

11.4知识跟踪分析245

11.4.1知识跟踪任务描述246

11.4.2经典知识跟踪方法246

11.4.3联合知识跟踪247

11.5习题资源分析与挖掘249

11.5.1相似习题判定任务描述249

11.5.2相似习题判定技术249

11.5.3其他习题分析与挖掘应用250

11.6MOOC平台活跃度预测251

11.6.1活跃度预测任务描述251

11.6.2活跃度预测分析方法251

11.7教育大数据应用案例252

11.7.1基于大数据分析的学生“隐形补助”体系252

11.7.2基于大数据技术的个性化学习255

习题258

参考文献及扩展阅读资料258

数据管理篇263

第12章 数据开放与共享263

12.1概述263

12.1.1数据开放与共享的概念263

12.1.2数据开放与共享的发展历程264

12.2数据开放与共享的原则与政策266

12.2.1数据开放与共享原则266

12.2.2国外数据开放与共享政策266

12.2.3中国数据开放与共享政策269

12.2.4数据开放与共享实施指南270

12.3数据开放与共享分类270

12.3.1政府数据开放与共享271

12.3.2公共财政资助产生的科学数据开放与共享271

12.3.3企业数据开放与共享272

12.3.4个人数据开放与共享272

12.4数据开放与共享平台273

12.4.1数据开放与共享综合平台273

12.4.2数据开放与共享领域平台275

12.4.3数据开放与共享平台的基本功能279

12.4.4数据开放与共享平台的产权保护281

习题282

参考文献及扩展阅读资料282

第13章 大数据的法律政策规范284

13.1大数据政策法规指引284

13.1.1大数据政策法规发展过程284

13.1.2中国的数据保护监管机构286

13.2数据主权与数据权利287

13.2.1数据主权288

13.2.2数据权利288

13.2.3数据权利主体和其他利益相关主体288

13.3个人数据立法保护289

13.3.1国外个人数据保护制度289

13.3.2中国个人数据保护制度292

13.4数据跨境流动监管法律机制295

13.4.1国外数据跨境及数据本地化立法296

13.4.2中国数据跨境流动法律制度298

13.4.3数据跨境流动法律制度设计299

13.5大数据伦理301

习题302

参考文献及扩展阅读资料302