Spark大数据处理 技术、应用与性能优化pdf电子书版本下载

点此进入-本书在线PDF格式电子书下载【推荐-云解压-方便快捷】直接下载PDF格式图书。移动端-PC端通用
种子下载[BT下载速度快] 温馨提示：（请使用BT下载软件FDM进行下载）软件下载地址页 直链下载[便捷但速度慢]   [在线试读本书]   [在线获取解压码]

Spark大数据处理 技术、应用与性能优化PDF格式电子书版下载

下载的文件为RAR压缩包。需要使用解压软件进行解压得到PDF格式图书。

建议使用BT下载工具Free Download Manager进行下载,简称FDM(免费,没有广告,支持多平台）。本站资源全部打包为BT种子。所以需要使用专业的BT下载软件进行下载。如 BitComet qBittorrent uTorrent等BT下载工具。迅雷目前由于本站不是热门资源。不推荐使用！后期资源热门了。安装了迅雷也可以迅雷进行下载！

（文件页数 要大于 标注页数，上中下等多册电子书除外）

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Spark简介 1

1.1 Spark是什么 1

1.2 Spark生态系统BDAS 4

1.3 Spark架构 6

1.4 Spark分布式架构与单机多核架构的异同 9

1.5 Spark的企业级应用 10

1.5.1 Spark在Amazon中的应用 11

1.5.2 Spark在Yahoo！的应用 15

1.5.3 Spark在西班牙电信的应用 17

1.5.4 Spark在淘宝的应用 18

1.6 本章小结 20

第2章 Spark集群的安装与部署 21

2.1 Spark的安装与部署 21

2.1.1 在Linux集群上安装与配置Spark 21

2.1.2 在Windows上安装与配置Spark 30

2.2 Spark集群初试 33

2.3 本章小结 35

第3章 Spark计算模型 36

3.1 Spark程序模型 36

3.2 弹性分布式数据集 37

3.2.1 RDD简介 38

3.2.2 RDD与分布式共享内存的异同 38

3.2.3 Spark的数据存储 39

3.3 Spark算子分类及功能 41

3.3.1 Value型Transformation算子 42

3.3.2 Key-Value型Transformation算子 49

3.3.3 Actions算子 53

3.4 本章小结 59

第4章 Spark工作机制详解 60

4.1 Spark应用执行机制 60

4.1.1 Spark执行机制总览 60

4.1.2 Spark应用的概念 62

4.1.3 应用提交与执行方式 63

4.2 Spark调度与任务分配模块 65

4.2.1 Spark应用程序之间的调度 66

4.2.2 Spark应用程序内Job的调度 67

4.2.3 Stage和TaskSetManager调度方式 72

4.2.4 Task调度 74

4.3 Spark I/O机制 77

4.3.1 序列化 77

4.3.2 压缩 78

4.3.3 Spark块管理 80

4.4 Spark通信模块 93

4.4.1 通信框架AKKA 94

4.4.2 Client、Master和Worker间的通信 95

4.5 容错机制 104

4.5.1 Lineage机制 104

4.5.2 Checkpoint机制 108

4.6 Shuffle机制 110

4.7 本章小结 119

第5章 Spark开发环境配置及流程 120

5.1 Spark应用开发环境配置 120

5.1.1 使用Intellij开发Spark程序 120

5.1.2 使用Eclipse开发Spark程序 125

5.1.3 使用SBT构建Spark程序 129

5.1.4 使用Spark Shell开发运行Spark程序 130

5.2 远程调试Spark程序 130

5.3 Spark编译 132

5.4 配置Spark源码阅读环境 135

5.5 本章小结 135

第6章 Spark编程实战 136

6.1 WordCount 136

6.2 Top K 138

6.3 中位数 140

6.4 倒排索引 141

6.5 CountOnce 143

6.6 倾斜连接 144

6.7 股票趋势预测 146

6.8 本章小结 153

第7章 Benchmark使用详解 154

7.1 Benchmark简介 154

7.1.1 Intel Hibench与Berkeley BigDataBench 155

7.1.2 Hadoop GridMix 157

7.1.3 Bigbench、BigDataBenchmark与TPC-DS 158

7.1.4 其他Benchmark 161

7.2 Benchmark的组成 162

7.2.1 数据集 162

7.2.2 工作负载 163

7.2.3 度量指标 167

7.3 Benchmark的使用 168

7.3.1 使用Hibench 168

7.3.2 使用TPC-DS 170

7.3.3 使用BigDataBench 172

7.4 本章小结 176

第8章 BDAS简介 177

8.1 SQL on Spark 177

8.1.1 使用Spark SQL的原因 178

8.1.2 Spark SQL架构分析 179

8.1.3 Shark简介 182

8.1.4 Hive on Spark 184

8.1.5 未来展望 185

8.2 Spark Streaming 185

8.2.1 Spark Streaming简介 186

8.2.2 Spark Streaming架构 188

8.2.3 Spark Streaming原理剖析 189

8.2.4 Spark Streaming调优 198

8.2.5 Spark Streaming实例 198

8.3 GraphX 205

8.3.1 GraphX简介 205

8.3.2 GraphX的使用 206

8.3.3 GraphX架构 209

8.3.4 运行实例 211

8.4 MLlib 215

8.4.1 MLlib简介 217

8.4.2 MLlib的数据存储 219

8.4.3 数据转换为向量（向量空间模型VSM） 222

8.4.4 MLlib中的聚类和分类 223

8.4.5 算法应用实例 228

8.4.6 利用MLlib进行电影推荐 230

8.5 本章小结 237

第9章 Spark性能调优 238

9.1 配置参数 238

9.2 调优技巧 239

9.2.1 调度与分区优化 240

9.2.2 内存存储优化 243

9.2.3 网络传输优化 249

9.2.4 序列化与压缩 251

9.2.5 其他优化方法 253

9.3 本章小结 255