Elasticsearch集成Hadoop最佳实践PDF|Epub|txt|kindle电子书版本网盘下载

Elasticsearch集成Hadoop最佳实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 环境部署1

1.1安装部署Hadoop集群1

Java安装和配置2

用户添加和配置2

SSH认证配置3

Hadoop下载4

环境变量配置4

Hadoop配置5

配置core-site.xml6

配置hdfs-site.xml6

配置yarn-site.xml6

配置mapred-site.xml7

格式化HDFS7

启动Hadoop进程8

1.2安装Elasticsearch及相关插件8

下载Elasticsearch9

配置Elasticsearch9

安装Head插件11

安装Marvel插件11

启动Elasticsearch12

1.3运行WordCount示例13

下载编译示例程序13

将示例文件上传到HDFS13

运行第一个作业14

1.4使用Head和Marvel浏览数据16

使用Head浏览数据16

初识Marvel18

使用Sense浏览数据19

小结21

第2章 初识ES-Hadoop22

2.1理解WordCount程序23

理解Mapper23

理解Reducer24

理解Driver25

使用旧的API——org.apache.hadoop.mapred28

2.2实际案例——网络数据监控28

获取并理解数据28

明确问题29

解决方案30

解决方案1——预聚合结果30

解决方案2——直接查询聚合结果32

2.3开发MapReduce作业33

编写Mapper类34

编写Driver37

编译作业38

上传数据到HDFS41

运行作业41

查看TOP N结果42

2.4将数据从Elasticsearch写回HDFS44

了解Twitter数据集44

导入Elasticsearch45

创建MapReduce作业46

编写Tweets2HdfsM apper46

运行示例50

确认输出50

小结52

第3章 深入理解Elasticsearch53

3.1理解搜索53

观念转换54

索引54

类型55

文档55

字段55

3.2与Elasticsearch交互56

Elasticsearch的CRUD56

创建文档56

获取文档57

更新文档58

删除文档58

创建索引58

映射59

数据类型60

创建映射61

索引模板62

3.3控制索引过程63

什么是反转索引63

输入数据分析64

停止词64

大小写65

词根65

同义词65

分析器65

3.4 Elastic查询67

编写查询语句68

URI查询68

match_all查询68

term查询68

boolean查询70

match查询71

range查询72

wildcard查询73

过滤器73

3.5聚合查询75

执行聚合查询76

terms聚合76

histogram聚合78

range聚合78

geo distance聚合79

嵌套聚合81

自测题82

小结82

第4章 利用Kibana进行大数据可视化83

4.1安装部署83

Kibana安装84

准备数据84

自测题85

启动Kibana86

4.2数据发现87

4.3数据可视化90

饼图91

堆积柱状图94

使用堆积柱状图完成日期直方图96

面积图97

饼图组图98

环形图98

瓦片地图99

自测题100

4.4动态图表101

小结104

第5章 实时分析105

5.1了解Twitter趋势分析器105

实现目标106

Apache Storm安装107

5.2将流式数据接入Storm107

编写Storm spout108

编写Storm bolt110

创建Storm topology112

编译运行Storm作业113

5.3趋势分析114

significant term聚合114

使用Kibana分析趋势116

5.4使用Percolator对推文分类117

Percolator118

Percolator优化120

推文分类121

小结124

第6章 ES-Hadoop配置125

6.1分布式环境中的Elasticsearch125

集群和节点126

节点类型126

节点发现128

数据分布129

分片129

副本129

分片分配130

6.2 ES-Hadoop架构132

动态并行132

写入Elasticsearch133

从Elasticsearch中读取134

失败捕获134

数据本地化135

6.3生产环境配置135

硬件135

内存135

CPU135

磁盘136

网络136

集群安装137

集群拓扑结构137

设置名称138

设置路径138

设置内存139

脑裂问题140

设置恢复参数141

预设配置142

数据导入142

全文检索144

快速聚合144

生产环境部署检查列表145

6.4集群管理146

监控集群健康146

备份和恢复149

数据备份149

数据恢复150

小结151

第7章 与Hadoop生态系统集成152

7.1与Pig集成152

Pig安装154

向Elasticsearch中导入数据155

从JSON源写数据157

类型转换157

从Elasticsearch中读取数据158

7.2与Hive集成158

安装Apache Hive158

向Elasticsearch中导入数据159

从JSON源写数据161

类型转换161

从Elasticsearch中读取数据162

7.3与Cascading集成163

向Elasticsearch中导入数据163

编写一个Cascading作业163

运行作业164

从Elasticsearch中读取数据165

编写一个reader作业165

使用Lingual165

7.4与Spark集成167

安装Spark168

向Elasticsearch中导入数据168

使用SparkSQL向Elasticsearch中导入数据169

从Elasticsearch中读取数据170

使用SparkSQL从Elasticsearch中读取数据170

7.5与YARN集成171

小结172

附录 配置174

基本配置174

es.resource174

es.resource.read174

es.resource.write175

es.nodes175

es.port175

读写配置175

es.query175

es.input.json176

es.write.operation177

es.update.script177

es.update.script.lang177

es.update.script.params177

es.update.script.params.json178

es.batch.size.bytes178

es.batch.size.entries178

es.batch.write.refresh178

es.batch.write.retry.count178

es.batch.write.retry.wait179

es.ser.reader.value.class179

es.ser.writer.value.class179

es.update.retry.on.conflict179

映射配置179

es.mapping.id179

es.mapping.parent180

es.mapping.version180

es.mapping.version.type180

es.mapping.routing180

es.mapping.ttl180

es.mapping.timestamp181

es.mapping.date.rich181

es.mapping.include181

es.mapping.exclude181

索引配置181

es.index.auto.create181

es.index.read.missing.as.empty182

es.field.read.empty.as.null182

es.field.read.validate.presence182

网络配置182

es.nodes.discovery182

es.nodes.client.only183

es.http.timeout183

es.http.retries183

es.scroll.keepalive183

es.scroll.size183

es.action.heart.beat.lead183

认证配置184

es.net.http.auth.user184

es.net.http.auth.pass184

SSL配置184

es.net.ssl184

es.net.ssl.keystore.location184

es.net.ssl.keystore.pass184

es.net.ssl.keystore.type184

es.net.ssl.truststore.location184

es.net.ssl.truststore.pass185

es.net.ssl.cert.allow.self.signed185

es.net.ssl.protoco185

es.scroll.size185

代理配置185

es.net.proxy.http.host185

es.net.proxy.http.port185

es.net.proxy.http.user185

es.net.proxy.http.pass186

es.net.proxy.http.use.system.props186

es.net.proxy.socks.host186

es.net.proxy.socks.port186

es.net.proxy.socks.user186

es.net.proxy.socks.pass186

es.net.proxy.socks.use.system.props186