自己动手写网络爬虫 修订版PDF|Epub|txt|kindle电子书版本网盘下载

自己动手写网络爬虫 修订版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1篇 自己动手抓取数据3

第1章 全面剖析网络爬虫3

1.1 抓取网页4

1.1.1 深入理解URL4

1.1.2 通过指定的URL抓取网页内容6

1.1.3 Java网页抓取示例8

1.1.4 处理HTTP状态码10

1.2 宽度优先爬虫和带偏好的爬虫12

1.2.1 图的宽度优先遍历12

1.2.2 宽度优先遍历互联网13

1.2.3 Java宽度优先爬虫示例15

1.2.4 带偏好的爬虫22

1.2.5 Java带偏好的爬虫示例23

1.3 设计爬虫队列24

1.3.1 爬虫队列24

1.3.2 使用Berkeley DB构建爬虫队列29

1.3.3 使用Berkeley DB构建爬虫队列示例30

1.3.4 使用布隆过滤器构建Visited表36

1.3.5 详解Heritrix爬虫队列39

1.4 设计爬虫架构46

1.4.1 爬虫架构46

1.4.2 设计并行爬虫架构47

1.4.3 详解Heritrix爬虫架构52

1.5 使用多线程技术提升爬虫性能55

1.5.1 详解Java多线程55

1.5.2 爬虫中的多线程59

1.5.3 一个简单的多线程爬虫实现60

1.5.4 详解Heritrix多线程结构61

本章小结64

第2章 分布式爬虫69

2.1 设计分布式爬虫70

2.1.1 分布式与云计算70

2.1.2 分布式与云计算技术在爬虫中的应用——浅析Google的云计算架构72

2.2 分布式存储72

2.2.1 从Ralation_DB到key/value存储72

2.2.2 Consistent Hash算法74

2.2.3 Consistent Hash代码实现79

2.3 Google的成功之道——GFS80

2.3.1 GFS详解80

2.3.2 开源GFS——HDFS84

2.4 Google网页存储秘诀——BigTable88

2.4.1 详解BigTable88

2.4.2 开源BigTable-HBase93

2.5 Google的成功之道——MapReduce算法98

2.5.1 详解MapReduce算法100

2.5.2 MapReduce容错处理101

2.5.3 MapReduce实现架构102

2.5.4 Hadoop中的MapReduce简介104

2.5.5 wordCount例子的实现105

2.6 Nutch中的分布式109

2.6.1 Nutch爬虫详解109

2.6.2 Nutch中的分布式116

本章小结118

第3章 爬虫的“方方面面”121

3.1 爬虫中的“黑洞”122

3.2 主题爬虫和限定爬虫122

3.2.1 理解主题爬虫122

3.2.2 Java主题爬虫128

3.2.3 理解限定爬虫130

3.2.4 Java限定爬虫示例136

3.3 有“道德”的爬虫152

本章小结156

第2篇 自己动手抽取Web内容159

第4章 “处理”HTML页面159

4.1 征服正则表达式160

4.1.1 学习正则表达式160

4.1.2 Java正则表达式163

4.2 抽取HTML正文169

4.2.1 了解Jsoup169

4.2.2 使用正则表达式抽取示例173

4.3 抽取正文177

4.4 从JavaScript中抽取信息193

4.4.1 JavaScript抽取方法193

4.4.2 JavaScript抽取示例195

本章小结197

第5章 非HTML正文抽取199

5.1 抽取PDF文件200

5.1.1 学习PDFBox200

5.1.2 使用PDFBox抽取示例204

5.1.3 提取PDF文件标题205

5.1.4 处理PDF格式的公文206

5.2 抽取Office文档211

5.2.1 学习POI211

5.2.2 使用POI抽取Word示例211

5.2.3 使用POI抽取PPT示例213

5.2.4 使用POI抽取Excel示例214

5.3 抽取RTF217

5.3.1 开源RTF文件解析器217

5.3.2 实现一个RTF文件解析器217

5.3.3 解析RTF示例222

本章小结227

第6章 多媒体抽取229

6.1 视频抽取230

6.1.1 抽取视频关键帧230

6.1.2 Java视频处理框架231

6.1.3 Java视频抽取示例235

6.2 音频抽取247

6.2.1 抽取音频248

6.2.2 Java音频抽取技术252

本章小结254

第7章 去掉网页中的“噪声”255

7.1 “噪声”对网页的影响256

7.2 利用“统计学”消除“噪声”257

7.2.1 网站风格树260

7.2.2 “统计学去噪”的Java实现268

7.3 利用“视觉”消除“噪声”272

7.3.1 “视觉”与“噪声”272

7.3.2 “视觉去噪”的Java实现273

本章小结277

第3篇 自己动手挖掘Web数据281

第8章 分析Web图281

8.1 存储Web“图”282

8.2 利用Web“图”分析链接291

8.3 Google的秘密——PageRank291

8.3.1 深入理解PageRank算法291

8.3.2 PageRank算法的Java实现295

8.3.3 应用PageRank进行链接分析298

8.4 PageRank的兄弟HITS299

8.4.1 深入理解HITS算法299

8.4.2 HITS算法的Java实现300

8.4.3 应用HITS进行链接分析311

8.5 PageRank与HITS比较312

本章小结313

第9章 去掉“重复”的文档315

9.1 何为“重复”的文档316

9.2 利用“语义指纹”排重316

9.2.1 理解“语义指纹”318

9.2.2 “语义指纹”排重的Java实现319

9.3 SimHash排重319

9.3.1 理解SimHash320

9.3.2 SimHash排重的Java实现321

9.4 分布式文档排重328

本章小结329

第10章 分类与聚类的应用331

10.1 网页分类332

10.1.1 收集语料库332

10.1.2 选取网页的“特征”333

10.1.3 使用支持向量机进行网页分类336

10.1.4 利用URL地址进行网页分类338

10.1.5 使用AdaBoost进行网页分类338

10.2 网页聚类341

10.2.1 深入理解DBScan算法341

10.2.2 使用DBScan算法聚类实例342

本章小结344