Hadoop实战(全面讲解Hadoop以及Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等相关技术)

Hadoop实战(全面讲解Hadoop以及Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等相关技术)

基本信息
作者： 陆嘉恒 [作译者介绍]
出版社：机械工业出版社
ISBN：9787111359449
上架时间：2011-10-21
出版日期：2011 年10月
http://product.china-pub.com/198652

编辑推荐
　　内容全面，涵盖Hadoop技术本身和Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等所有与Hadoop相关的子项目
　　 实战性强，为各个知识点精心设计了大量经典的小案例，易于理解，可操作性强

内容简介
　　本书是一本系统且极具实践指导意义的hadoop工具书和参考书。内容全面，对hadoop整个技术体系进行了全面的讲解，不仅包括hdfs和mapreduce这两大核心内容，而且还包括hive、hbase、mahout、pig、zookeeper、avro、chukwa等与hadoop相关的子项目的内容。实战性强，为各个知识点精心设计了大量经典的小案例，易于理解，可操作性强。
　　 全书一共18章：第1章全面介绍了hadoop的概念、优势、项目结构、体系结构，以及它与分布式计算的关系；第2章详细讲解了hadoop集群的安装和配置，以及常用的日志分析技巧；第3章分析了hadoop在yahoo！、ebay、facebook和百度的应用案例，以及hadoop平台上海量数据的排序；第4-7章深入地讲解了mapreduce计算模型、mapreduce应用的开发方法、mapreduce的工作机制，同时还列出了多个mapreduce的应用案例，涉及单词计数、数据去重、排序、单表关联和多表关联等内容；第8-11章全面地阐述了hadoop的i/o操作、hdfs的原理与基本操作，以及hadoop的各种管理操作，如集群的维护等；第12-17章详细而系统地讲解了hive、hbase、mahout、pig、zookeeper、avro、chukwa等所有与hadoop相关的子项目的原理及使用，以及这些子项目与hadoop的整合使用；第18章以实例的方式讲解了常用hadoop插件的使用和hadoop插件的开发。
　　 本书既适合没有hadoop基础的初学者系统地学习，又适合有一定hadoop基础但是缺乏实践经验的读者实践和参考。

目录
《hadoop实战》
前 言
第1章 hadoop 简介/1
1.1 什么是hadoop/2
1.1.1 hadoop 概述/2
1.1.2 hadoop 的历史/2
1.1.3 hadoop 的功能与作用/2
1.1.4 hadoop 的优势/3
1.1.5 hadoop 的应用现状和发展趋势/3
1.2 hadoop 项目及其结构/3
1.3 hadoop 的体系结构/6
1.3.1 hdfs 的体系结构/6
1.3.2 mapreduce 的体系结构/7
1.4 hadoop 与分布式开发/7
1.5 hadoop 计算模型—mapreduce/10
1.6 hadoop 的数据管理/10
1.6.1 hdfs 的数据管理/11
1.6.2 hbase 的数据管理/12
1.6.3 hive 的数据管理/15
1.7 小结/17
.第2章 hadoop 的安装与配置 /18
2.1 在linux 上安装与配置hadoop/19
2.1.1 安装jdk 1.6/19
2.1.2 配置ssh 免密码登录/20
2.1.3 安装并运行hadoop/21
2.2 在windows 上安装与配置hadoop/23
2.2.1 安装cygwin/24
2.2.2 配置环境变量/24
2.2.3 安装和启动sshd 服务/24
2.2.4 配置ssh 免密码登录/24
2.3 安装和配置hadoop 集群/25
2.3.1 网络拓扑/25
2.3.2 定义集群拓扑/25
2.3.3 建立和安装cluster /26
2.4 日志分析及几个小技巧/32
2.5 小结/33
第3章 hadoop 应用案例分析/35
3.1 hadoop 在yahoo ！的应用/36
3.2 hadoop 在ebay 的应用/38
3.3 hadoop 在百度的应用/40
3.4 hadoop 在facebook 的应用/43
3.5 hadoop 平台上的海量数据排序/46
3.6 小结/53
第4章 mapreduce 计算模型/54
4.1 为什么要用mapreduce/55
4.2 mapreduce 计算模型 /56
4.2.1 mapreduce job/56
4.2.2 hadoop 中的hello world 程序/56
4.2.3 mapreduce 的数据流和控制流/64
4.3 mapreduce 任务的优化/65
4.4 hadoop 流 /67
4.4.1 hadoop 流的工作原理/68
4.4.2 hadoop 流的命令/69
4.4.3 实战案例：添加bash 程序和python 程序到hadoop 流中/70
4.5 hadoop pipes/72
4.6 小结 /74
第5章 开发mapreduce 应用程序/75
5.1 系统参数的配置/76
5.2 配置开发环境 /78
5.3 编写mapreduce 程序/79
5.3.1 map 处理/79
5.3.2 reduce 处理/80
5.4 本地测试 /81
5.5 运行mapreduce 程序 /83
5.5.1 打包/84
5.5.2 在本地模式下运行/85
5.5.3 在集群上运行/86
5.6 网络用户界面/87
5.6.1 jobtracker 页面/87
5.6.2 工作页面/88
5.6.3 返回结果/90
5.6.4 任务页面/93
5.6.5 任务细节页面/93
5.7 性能调优/94
5.8 mapreduce 工作流/96
5.8.1 将问题分解成mapreduce 工作/97
5.8.2 运行相互依赖的工作/97
5.9 小结/98
第6章 mapreduce 应用案例/99
6.1 单词计数/100
6.1.1 实例描述/100
6.1.2 设计思路/100
6.1.3 程序代码/101
6.1.4 代码解读/102
6.1.5 程序执行/103
6.1.6 代码结果/103
6.2 数据去重/104
6.2.1 实例描述/104
6.2.2 设计思路/105
6.2.3 程序代码/105
6.3 排序/106
6.3.1 实例描述/106
6.3.2 设计思路/107
6.3.3 程序代码/107
6.4 单表关联/109
6.4.1 实例描述/109
6.4.2 设计思路/110
6.4.3 程序代码/110
6.5 多表关联/113
6.5.1 实例描述/113
6.5.2 设计思路/114
6.5.3 程序代码/114
6.6 小结/116
第7章 mapreduce 工作机制/117
7.1 mapreduce 作业的执行流程/118
7.1.1 mapreduce 任务的执行总流程/118
7.1.2 提交作业/119
7.1.3 初始化作业/121
7.1.4 分配任务/123
7.1.5 执行任务/125
7.1.6 更新任务执行进度和状态/126
7.1.7 完成作业/127
7.2 错误处理机制 /127
7.2.1 硬件故障/127
7.2.2 任务失败/128
7.3 作业调度机制 /128
7.4 shuffle 和排序/129
7.4.1 map 端/130
7.4.2 reduce 端/131
7.4.3 shuffle 过程的优化/132
7.5 任务执行 /133
7.5.1 推测式执行/133
7.5.2 任务jvm 重用/134
7.5.3 跳过坏记录/134
7.5.4 任务执行环境/135
7.6 小结/136
第8章 hadoop i/o 操作/137
8.1 i/o 操作中的数据检查/138
8.2 数据的压缩 /142
8.2.1 hadoop 对压缩工具的选择/142
8.2.2 压缩分割和输入分割/143
8.2.3 在mapreduce 程序中使用压缩/143
8.3 数据的i/o 中序列化操作/144
8.3.1 writable 类/144
8.3.2 实现自己的hadoop 数据类型/152
8.4 针对mapreduce 的文件类/153
8.4.1 sequencefile 类/154
8.4.2 mapfile 类/159
8.5 小结/161
第9章 hdfs 详解/162
9.1 hadoop 的文件系统/163
9.2 hdfs 简介/165
9.3 hdfs 体系结构/166
9.3.1 hdfs 的相关概念/166
9.3.2 hdfs 的体系结构/167
9.4 hdfs 的基本操作/169
9.4.1 hdfs 的命令行操作/169
9.4.2 hdfs 的web 界面/171
9.5 hdfs 常用java api 详解/173
9.5.1 使用hadoop url 读取数据/173
9.5.2 使用filesystem api 读取数据/174
9.5.3 创建目录/176
9.5.4 写数据/177
9.5.5 删除数据/178
9.5.6 文件系统查询/178
9.6 hdfs 中的读写数据流/182
9.6.1 文件的读取/182
9.6.2 文件的写入/184
9.6.3 一致性模型/185
9.7 hdfs 命令详解/186
9.7.1 通过distcp 进行并行复制/186
9.7.2 hdfs 的平衡/187
9.7.3 使用hadoop 归档文件/188
9.7.4 其他命令/190
9.8 小结/194
第10章 hadoop 的管理/195
10.1 hdfs 文件结构/196
10.2 hadoop 的状态监视和管理工具/200
10.2.1 审计日志/200
10.2.2 监控日志/200
10.2.3 metrics/201
10.2.4 java 管理扩展 /203
10.2.5 ganglia/204
10.2.6 hadoop 管理命令/206
10.3 hadoop 集群的维护/210
10.3.1 安全模式/210
10.3.2 hadoop 的备份/211
10.3.3 hadoop 的节点管理/212
10.3.4 系统升级/214
10.4 小结/216
第11章 hive 详解/217
11.1 hive 简介/218
11.1.1 hive 的数据存储/218
11.1.2 hive 的元数据存储/220
11.2 hive 的基本操作/220
11.2.1 在集群上安装hive/220
11.2.2 配置hive/222
11.3 hive ql 详解/224
11.3.1 数据定义（ddl）操作/224
11.3.2 数据操作（dml）/231
11.3.3 sql 操作/233
11.3.4 hive ql 的使用实例/235
11.4 hive 的网络（webui）接口/237
11.5 hive 的jdbc 接口/238
11.6 hive 的优化/241
11.7 小结/243
第12章 hbase 详解/244
12.1 hbase 简介/245
12.2 hbase 的基本操作/245
12.2.1 hbase 的安装/245
12.2.2 运行hbase /249
12.2.3 hbase shell/250
12.2.4 hbase 配置/254
12.3 hbase 体系结构/255
12.4 hbase 数据模型/259
12.4.1 数据模型/259
12.4.2 概念视图/260
12.4.3 物理视图/260
12.5 hbase 与rdbms/261
12.6 hbase 与hdfs/262
12.7 hbase 客户端/262
12.8 java api /263
12.9 hbase 编程实例之mapreduce /270
12.10 模式设计/273
12.10.1 学生表/273
12.10.2 事件表/274
12.11 小结/275
第13章 mahout 详解/276
13.1 mahout 简介/277
13.2 mahout 的安装和配置/277
13.3 mahout api 简介/278
13.4 mahout 中的聚类和分类/280
13.4.1 什么是聚类和分类/280
13.4.2 mahout 中的数据表示/281
13.4.3 将文本转化成向量/282
13.4.4 mahout 中的聚类、分类算法/283
13.4.5 算法应用实例/288
13.5 mahout 应用：建立一个推荐引擎/292
13.5.1 推荐引擎简介/292
13.5.2 使用taste 构建一个简单的推荐引擎/292
13.5.3 简单分布式系统下基于产品的推荐系统简介/294
13.6 小结/297
第14章 pig 详解/299
14.1 pig 简介/300
14.2 pig 的安装和配置 /300
14.2.1 pig 的安装条件/300
14.2.2 pig 的下载、安装和配置/301
14.2.3 pig 运行模式/301
14.3 pig latin 语言/304
14.3.1 pig latin 语言简介/304
14.3.2 pig latin 的使用/305
14.3.3 pig latin 的数据类型/307
14.3.4 pig latin 关键字/308
14.4 用户定义函数 /313
14.4.1 编写用户定义函数/313
14.4.2 使用用户定义函数/315
14.5 pig 实例 /315
14.5.1 local 模式/316
14.5.2 mapreduce 模式/318
14.6 pig 进阶/319
14.6.1 数据实例/319
14.6.2 pig 数据分析/320
14.7 小结/324
第15章 zookeeper 详解/326
15.1 zookeeper 简介/327
15.1.1 zookeeper 的设计目标/327
15.1.2 数据模型和层次命名空间/328
15.1.3 zookeeper 中的节点和临时节点/328
15.1.4 zookeeper 的应用/329
15.2 zookeeper 的安装和配置/329
15.2.1 在集群上安装zookeeper/329
15.2.2 配置zookeeper/334
15.2.3 运行zookeeper/336
15.3 zookeeper 的简单操作/339
15.3.1 使用zookeeper 命令的简单操作步骤/339
15.3.2 zookeeper api 的简单使用/340
15.4 zookeeper 的特性/343
15.4.1 zookeeper 的数据模型/343
15.4.2 zookeeper 会话及状态/345
15.4.3 zookeeper watches/346
15.4.4 zookeeper acl/346
15.4.5 zookeeper 的一致性保证/347
15.5 zookeeper 的leader 选举/348
15.6 zookeeper 锁服务/348
15.6.1 zookeeper 中的锁机制/349
15.6.2 zookeeper 提供的一个写锁的实现/350
15.7 使用zookeeper 创建应用程序 /351
15.8 小结/355
第16章 avro 详解/356
16.1 avro 简介/357
16.1.1 模式声明/358
16.1.2 数据序列化/362
16.1.3 数据排列顺序/364
16.1.4 对象容器文件 /365
16.1.5 协议声明/367
16.1.6 协议传输格式/368
16.1.7 模式解析/370
16.2 avro 的c/c++ 实现/371
16.3 avro 的java 实现/382
16.4 genavro（avro idl）语言/385
16.5 avro sasl 概述/390
16.6 小结/392
第17章 chukwa 详解 /393
17.1 chukwa 简介/394
17.2 chukwa 架构/395
17.2.1 客户端（agent）及其数据模型/395
17.2.2 收集器（collector）和分离解析器（demux）/396
17.2.3 hicc/398
17.3 chukwa 的可靠性/399
17.4 chukwa 集群搭建/400
17.4.1 基本配置要求/400
17.4.2 安装chukwa/400
17.5 chukwa 数据流的处理/407
17.6 chukwa 与其他监控系统比较/408
17.7 小结/409
第18章 hadoop 的常用插件与开发/411
18.1 hadoop studio 简介和使用/412
18.1.1 hadoop studio 的安装和配置/412
18.1.2 hadoop studio 的使用举例/413
18.2 hadoop eclipse 简介和使用/419
18.2.1 hadoop eclipse 安装和配置/420
18.2.2 hadoop eclipse 的使用举例/420
18.2.3 hadoop eclipse 插件开发/421
18.3 hadoop streaming 简介和使用/422
18.3.1 hadoop streaming 的使用举例/426
18.3.2 使用hadoop streaming 时常见的问题/428
18.4 hadoop libhdfs 简介和使用/430
18.4.1 hadoop libhdfs 安装和配置/430
18.4.2 hadoop libhdfs api 简介/430
18.4.3 hadoop libhdfs 的使用举例/431
18.5 小结/432
附录a 云计算在线检测平台/434
a.1 平台介绍/435
a.2 结构和功能/435
a.2.1 前台用户接口的结构和功能/435
a.2.2 后台程序运行的结构和功能/437
a.3 检测流程/437
a.4 使用/438
a.4.1 功能使用/438
a.4.2 返回结果介绍/439
a.4.3 使用注意事项/440
a.5 小结/441

评论

1 楼 mrpengpengda 2013-03-27  

这本书对于操作性的东西提到了不少。但是对集群的性能方面介绍的不是很多。尤其是 HBase 性能优化，Hive 调用 MR 执行优化方面介绍的还是比较少的。