图书介绍

Hadoop实战pdf电子书版本下载

Hadoop实战
  • (美)拉姆著;韩冀中译 著
  • 出版社: 北京:人民邮电出版社
  • ISBN:7115264480
  • 出版时间:2011
  • 标注页数:253页
  • 文件大小:104MB
  • 文件页数:267页
  • 主题词:

PDF下载


点此进入-本书在线PDF格式电子书下载【推荐-云解压-方便快捷】直接下载PDF格式图书。移动端-PC端通用
种子下载[BT下载速度快] 温馨提示:(请使用BT下载软件FDM进行下载)软件下载地址页 直链下载[便捷但速度慢]   [在线试读本书]   [在线获取解压码]

下载说明

Hadoop实战PDF格式电子书版下载

下载的文件为RAR压缩包。需要使用解压软件进行解压得到PDF格式图书。

建议使用BT下载工具Free Download Manager进行下载,简称FDM(免费,没有广告,支持多平台)。本站资源全部打包为BT种子。所以需要使用专业的BT下载软件进行下载。如 BitComet qBittorrent uTorrent等BT下载工具。迅雷目前由于本站不是热门资源。不推荐使用!后期资源热门了。安装了迅雷也可以迅雷进行下载!

(文件页数 要大于 标注页数,上中下等多册电子书除外)

注意:本站所有压缩包均有解压码: 点击下载压缩包解压工具

图书目录

第一部分 Hadoop——一种分布式编程框架第1章 Hadoop简介 2

1.1 为什么写《Hadoop实战》 3

1.2 什么是Hadoop 3

1.3 了解分布式系统和Hadoop 4

1.4 比较SQL数据库和Hadoop 5

1.5 理解MapReduce 6

1.5.1 动手扩展一个简单程序 7

1.5.2 相同程序在MapReduce中的扩展 9

1.6 用Hadoop统计单词——运行第一个程序 11

1.7 Hadoop历史 15

1.8 小结 16

1.9 资源 16

第2章 初识Hadoop 17

2.1 Hadoop的构造模块 17

2.1.1 NameNode 17

2.1.2 DataNode 18

2.1.3 Secondary NameNode 19

2.1.4 JobTracker 19

2.1.5 TaskTracker 19

2.2 为Hadoop集群安装SSH 21

2.2.1 定义一个公共账号 21

2.2.2 验证SSH安装 21

2.2.3 生成SSH密钥对 21

2.2.4 将公钥分布并登录验证 22

2.3 运行Hadoop 22

2.3.1 本地(单机)模式 23

2.3.2 伪分布模式 24

2.3.3 全分布模式 25

2.4 基于Web的集群用户界面 28

2.5 小结 30

第3章 Hadoop组件 31

3.1 HDFS文件操作 31

3.1.1 基本文件命令 32

3.1.2 编程读写HDFS 35

3.2 剖析MapReduce程序 37

3.2.1 Hadoop数据类型 39

3.2.2 Mapper 40

3.2.3 Reducer 41

3.2.4 Partitioner:重定向Mapper输出 41

3.2.5 Combiner:本地reduce 43

3.2.6 预定义mapper和Reducer类的单词计数 43

3.3 读和写 43

3.3.1 InputFormat 44

3.3.2 OutputFormat 49

3.4 小结 50

第二部分 实战 52

第4章 编写MapReduce基础程序 52

4.1 获得专利数据集 52

4.1.1 专利引用数据 53

4.1.2 专利描述数据 54

4.2 构建MapReduce程序的基础模板 55

4.3 计数 60

4.4 适应Hadoop API的改变 64

4.5 Hadoop的Streaming 67

4.5.1 通过Unix命令使用Streaming 68

4.5.2 通过脚本使用Streaming 69

4.5.3 用Streaming处理键/值对 72

4.5.4 通过Aggregate包使用Streaming 75

4.6 使用combiner提升性能 80

4.7 温故知新 83

4.8 小结 84

4.9 更多资源 84

第5章 高阶MapReduce 85

5.1 链接MapReduce作业 85

5.1.1 顺序链接MapReduce作业 85

5.1.2 具有复杂依赖的MapReduce链接 86

5.1.3 预处理和后处理阶段的链接 86

5.2 联结不同来源的数据 89

5.2.1 Reduce侧的联结 90

5.2.2 基于DistributedCache的复制联结 98

5.2.3 半联结:map侧过滤后在reduce侧联结 101

5.3 创建一个Bloom filter 102

5.3.1 Bloom filter做了什么 102

5.3.2 实现一个Bloom filter 104

5.3.3 Hadoop 0.20以上版本的Bloom filter 110

5.4 温故知新 110

5.5 小结 111

5.6 更多资源 112

第6章 编程实践 113

6.1 开发MapReduce程序 113

6.1.1 本地模式 114

6.1.2 伪分布模式 118

6.2 生产集群上的监视和调试 123

6.2.1 计数器 123

6.2.2 跳过坏记录 125

6.2.3 用IsolationRunner重新运行出错的任务 128

6.3 性能调优 129

6.3.1 通过combiner来减少网络流量 129

6.3.2 减少输入数据量 129

6.3.3 使用压缩 129

6.3.4 重用JVM 132

6.3.5 根据猜测执行来运行 132

6.3.6 代码重构与算法重写 133

6.4 小结 134

第7章 细则手册 135

7.1 向任务传递作业定制的参数 135

7.2 探查任务特定信息 137

7.3 划分为多个输出文件 138

7.4 以数据库作为输入输出 143

7.5 保持输出的顺序 145

7.6 小结 146

第8章 管理Hadoop 147

8.1 为实际应用设置特定参数值 147

8.2 系统体检 149

8.3 权限设置 151

8.4 配额管理 151

8.5 启用回收站 152

8.6 删减DataNode 152

8.7 增加DataNode 153

8.8 管理NameNode和SNN 153

8.9 恢复失效的NameNode 155

8.10 感知网络布局和机架的设计 156

8.11 多用户作业的调度 157

8.11.1 多个JobTracker 158

8.11.2 公平调度器 158

8.12 小结 160

第三部分 Hadoop也疯狂 162

第9章 在云上运行Hadoop 162

9.1 Amazon Web Services简介 162

9.2 安装AWS 163

9.2.1 获得AWS身份认证凭据 164

9.2.2 获得命令行工具 166

9.2.3 准备SSH密钥对 168

9.3 在EC2上安装Hadoop 169

9.3.1 配置安全参数 169

9.3.2 配置集群类型 169

9.4 在EC2上运行MapReduce程序 171

9.4.1 将代码转移到Hadoop集群上 171

9.4.2 访问Hadoop集群上的数据 172

9.5 清空和关闭EC2实例 175

9.6 Amazon Elastic MapReduce和其他AWS服务 176

9.6.1 Amazon Elastic MapReduce 176

9.6.2 AWS导入/导出 177

9.7 小结 177

第10章 用Pig编程 178

10.1 像Pig一样思考 178

10.1.1 数据流语言 179

10.1.2 数据类型 179

10.1.3 用户定义函数 179

10.2 安装Pig 179

10.3 运行Pig 180

10.4 通过Grunt学习Pig Latin 182

10.5 谈谈Pig Latin 186

10.5.1 数据类型和schema 186

10.5.2 表达式和函数 187

10.5.3 关系型运算符 189

10.5.4 执行优化 196

10.6 用户定义函数 196

10.6.1 使用UDF 196

10.6.2 编写UDF 197

10.7 脚本 199

10.7.1 注释 199

10.7.2 参数替换 200

10.7.3 多查询执行 201

10.8 Pig实战——计算相似专利的例子 201

10.9 小结 206

第11章 Hive及Hadoop群 207

11.1 Hive 207

11.1.1 安装与配置Hive 208

11.1.2 查询的示例 210

11.1.3 深入HiveQL 213

11.1.4 Hive小结 221

11.2 其他Hadoop相关的部分 221

11.2.1 HBase 221

11.2.2 ZooKeeper 221

11.2.3 Cascading 221

11.2.4 Cloudera 222

11.2.5 Katta 222

11.2.6 CloudBase 222

11.2.7 Aster Data和Greenplum 222

11.2.8 Hama和Mahout 223

11.2.9 search-hadoop.com 223

11.3 小结 223

第12章 案例研究 224

12.1 转换《纽约时报》1100万个库存图片文档 224

12.2 挖掘中国移动的数据 225

12.3 在StumbleUpon推荐最佳网站 229

12.3.1 分布式StumbleUpon的开端 230

12.3.2 HBase和StumbleUpon 230

12.3.3 StumbleUpon上的更多Hadoop应用 236

12.4 搭建面向企业查询的分析系统——IBM的ES2项目 238

12.4.1 ES2系统结构 240

12.4.2 ES2爬虫 241

12.4.3 ES2分析 242

12.4.4 小结 249

12.4.5 参考文献 250

附录A HDFS文件命令 251

精品推荐