图书介绍

Spark实时大数据分析 基于Spark Streaming框架pdf电子书版本下载

Spark实时大数据分析  基于Spark Streaming框架
  • (美)祖贝尔·纳比著;王胜夏,景玉译 著
  • 出版社: 北京:清华大学出版社
  • ISBN:7302511878
  • 出版时间:2018
  • 标注页数:241页
  • 文件大小:113MB
  • 文件页数:257页
  • 主题词:

PDF下载


点此进入-本书在线PDF格式电子书下载【推荐-云解压-方便快捷】直接下载PDF格式图书。移动端-PC端通用
下载压缩包 [复制下载地址] 温馨提示:(请使用BT下载软件FDM进行下载)软件下载地址页

下载说明

Spark实时大数据分析 基于Spark Streaming框架PDF格式电子书版下载

下载的文件为RAR压缩包。需要使用解压软件进行解压得到PDF格式图书。

建议使用BT下载工具Free Download Manager进行下载,简称FDM(免费,没有广告,支持多平台)。本站资源全部打包为BT种子。所以需要使用专业的BT下载软件进行下载。如 BitComet qBittorrent uTorrent等BT下载工具。迅雷目前由于本站不是热门资源。不推荐使用!后期资源热门了。安装了迅雷也可以迅雷进行下载!

(文件页数 要大于 标注页数,上中下等多册电子书除外)

注意:本站所有压缩包均有解压码: 点击下载压缩包解压工具

图书目录

第1章 大数据漫游指南 1

1.1 Spark前传 1

1.1.1 Web 2.0时代 2

1.1.2 无处不在的传感器 7

1.2 Spark Streaming:MapReduce和CEP的交集 9

第2章 Spark简介 10

2.1 安装 11

2.2 执行 12

2.2.1 独立集群模式(Standalone Cluster) 12

2.2.2 YARN模式 13

2.3 第一个应用程序 13

2.3.1 构建 16

2.3.2 执行 17

2.4 SparkContext 19

2.4.1 RDDs创建 19

2.4.2 处理依赖关系 20

2.4.3 创建共享变量 21

2.4.4 作业执行 22

2.5 RDD 22

2.5.1 持久化 23

2.5.2 转换 24

2.5.3 行动(Action) 28

小结 29

第3章 实时RDD:DStream 30

3.1 从连续流到离散流 30

3.2 第一个Spark Streaming应用程序 31

3.2.1 构建和执行 34

3.2.2 Streaming Context 34

3.3 DStreams 36

3.3.1 Spark Streaming应用程序剖析 38

3.3.2 转换 42

小结 52

第4章 高速流:并行化及其他 54

4.1 流数据的一大飞跃 54

4.2 并行化 56

4.2.1 Worker 56

4.2.2 执行器(Executor) 57

4.2.3 任务(Task) 59

4.3 批处理间隔 62

4.4 调度 64

4.4.1 应用程序间调度 64

4.4.2 批处理调度 64

4.4.3 作业间调度 65

4.4.4 一个行动,一个作业 65

4.5 内存 66

4.5.1 序列化 67

4.5.2 压缩(Compression) 70

4.5.3 垃圾收集 70

4.6 Shuffle 70

4.6.1 早期投影和过滤 70

4.6.2 经常使用组合器 70

4.6.3 大量运用平行化 70

4.6.4 文件合并(File Consolidation) 71

4.6.5 更多内存 71

小结 71

第5章 链接外部数据源 72

5.1 智慧城市,智慧地球,一切更智慧 72

5.2 ReceiverInputDStream 74

5.3 套接字 76

5.4 MQTT 85

5.5 Flume 89

5.5.1 基于推模式的Flume数据摄取 91

5.5.2 基于拉模式的Flume数据摄取 92

5.6 Kafka 92

5.6.1 基于接收器的Kafka消费者 95

5.6.2 直接Kafka消费者 98

5.7 Twitter 99

5.8 块间隔 100

5.9 自定义接收器 100

小结 104

第6章 边界效应 106

6.1 盘点股市 106

6.2 foreachRDD 108

6.2.1 为每条记录创建一个连接 110

6.2.2 为每个分区创建一个连接 111

6.2.3 静态连接 112

6.2.4 惰性静态连接 113

6.2.5 静态连接池 114

6.3 可扩展流存储 116

6.3.1 HBase 117

6.3.2 股市控制台(Dashboard) 118

6.3.3 SparkOnHBase 120

6.3.4 Cassandra 122

6.3.5 Spark Cassandra连接器 124

6.4 全局状态(Global State) 126

6.4.1 静态变量 126

6.4.2 updateStateByKey() 128

6.4.3 累加器 129

6.4.4 外部解决方案 131

小结 133

第7章 充分准备 134

7.1 每个点击都异乎重要 134

7.2 Tachyon (Alluxio) 135

7.3 Spark Web UI 138

7.3.1 历史分析 151

7.3.2 RESTful度量 152

7.4 日志记录 153

7.5 外部度量 154

7.6 系统度量 156

7.7 监控和报警 157

小结 159

第8章 实时ETL和分析技术 160

8.1 交易数据记录的强大功能 160

8.2 第一个流式Spark SQL应用程序 162

8.3 SQLContext 165

8.3.1 创建数据框 165

8.3.2 执行SQL 168

8.3.3 配置 169

8.3.4 用户自定义函数 169

8.3.5 Catalyst:查询执行和优化 171

8.3.6 HiveContext 171

8.4 数据框(Data Frame) 173

8.4.1 类型 173

8.4.2 查询转换 173

8.4.3 行动 180

8.4.4 RDD操作 182

8.4.5 持久化 182

8.4.6 最佳做法 183

8.5 SparkR 183

8.6 第一个SparkR应用程序 184

8.6.1 执行 185

8.6.2 流式SparkR 185

小结 188

第9章 大规模机器学习 189

9.1 传感器数据风暴 189

9.2 流式MLlib应用程序 191

9.3 MLlib 194

9.3.1 数据类型 194

9.3.2 统计分析 197

9.3.3 预处理 198

9.4 特征选择和提取 199

9.4.1 卡方选择 199

9.4.2 主成分分析 200

9.5 学习算法 201

9.5.1 分类 202

9.5.2 聚类 202

9.5.3 推荐系统 204

9.5.4 频繁模式挖掘 207

9.6 流式ML管道应用程序 208

9.7 ML 211

9.8 管道交叉验证 212

小结 213

第10章 云、Lambda及Python 215

10.1 一条好评胜过一千个广告 216

10.2 Google Dataproc 217

10.3 基于Dataproc应用程序创建的第一个Spark 220

10.4 PySpark 227

10.5 Lambda架构 229

10.6 流式图分析 238

总结 241

精品推荐