`
nanjingjiangbiao_T
  • 浏览: 2606179 次
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

分布式计算学习要点

 
阅读更多
云计算技术简介 云计算技术概述,大数据时代来临,Google云计算技术,Amazon云计算技术,微软云计算技术等。
初始Hadoop Hadoop的起源、解决的问题、
以及它的特点、应用场景和发展趋势,企业应用情况,为什么使用,及其生态系统介绍。
Hadoop
单节点伪分布式安装
Hadoop
1.0 版本 安装环境搭建
Hadoop
架构
Hadoop
整体架构设计及重要的概念
Hadoop
HDFS 体系结构
1:HDFS
架构设计目标,设计思想,
2:特点,基本概念,容错性。
3:HDFS 界面介绍
4:HDFS 服务
Hadoop
HDFS 命令行
Hadoop
HDFS Shell 基本操作
HDFS
Java API 使用
1:基于Eclipse开发环境搭建
2:Java
API示范 :比如建立文件,删除,移动复制等
Hadoop
MapReduce 架构 原理
1:MapReduce架构详解
2:MapReduce 流程
3:MapReduce 特点
4:MapReduce 容错性
5:MapReduce 服务
Hadoop
MapReduce api
1:Mapper
2:Reducer
3:Driver
Hadoop
MapReduce 编程实践 wordcount
1:WordCount 程序编写,演示
2:运行MR
Job 示例
高级MR
编程
1:RecordReader
2:Partitioner
3:Combiner
Hadoop
MapReduce IO
1:数据完整性校验
2:压缩,包括:LZO、GZIP、Snappy
3:序列化
4:基于文件的数据结构,包括:SequenceFile、MapFile
调优 调优经验分享


课程中的HBase部分:

掌握HBase基本原理,应用场景,掌握基本的编程技巧

章节课程 内容描述
初始HBase 1:NoSql 数据库简介.
2:HBase 简介及与传统关系数据库的对比。
3:HBase 应用场景,企业应用情况,为什么使用。
4:HBase 特点
HBase
环境搭建
HBase 环境搭建
HBase
体系结构
1:HBase架构
2:HMaster、RegionServer、 Regoin 等概念
HBase
数据模型
1:表
2:Rowkey
3:Column Families
HBase
Shell 命令行
1:启动HBase Shell
2:建立表
3:访问数据(添加,删除,查询)
4:练习
HBase
api 简单编程介绍
1:基于Eclipse开发环境搭建
2:基本操作(建表,查询数据,删除)
3:高级操作 (使用过滤器)
4:练习
HBase
row-key 设计及Scheme 设计
经验分享,设计原则
HBase
coprocessor等高级特性介绍
1:coprocessor特性分析,使用场景;
2:HBase 优化简单原则


课程中的Hive部分:

掌握Hive基本原理,应用场景,掌握基本的编程技巧

章节课程 内容描述
初始Hive 1:Hive简介
2:为什么使用Hive
3:Hive 应用场景,企业应用情况
Hive
环境搭建
Hive 伪分布式环境搭建
Hive
体系结构
1:Hive主要的组件
2:用户接口
3:概念
Hive
QL
1:Hive 类Sql
2:DDL
3:DML
4:Select 与连接查询
Hive
Java API
1:搭建 Hive JDBC 开发环境
2:Hive JDBC 开发流程
Hive
用户自定义函数简单介绍
UDF和UADF


课程中的分布式协调系统Zookeeper部分:

掌握Zookeeper基本原理,应用场景,掌握基本的编程技巧

章节课程 内容描述
初始Zookeeper 1:什么是ZooKeeper
2:ZooKeeper特性
Zookeeper
体系结构
1:ZooKeeper体系结构
2:ZooKeeper存储结构
Zookeeper
选举与锁机制
1:Zookeeper 选举机制
2:Zookeeper 选举算法
3:Zookeeper 锁机制
ZooKeeper
CRUD API
1:Create
2:Read
3:Update
4:Delete
Zookeeper 应用场景 Zookeeper 应用场景
分享到:
评论

相关推荐

    网络与分布计算复习要点1

    第一章 概论1、分布计算系统的定义,能够从硬件、控制、数据三个维度进行阐述2、分布式计算系统的要求:开放性、可扩展性、异构性、透明性、安全性等的具体要求3、同构

    基于Hadoop的大数据处理系统.pdf

    ⽬前⼤数据的处理平台以Hadoop为主,Hadoop是⼀个开源的可运⾏于⼤规模集群上的分布式⽂件系统和和分布式计算的基础框架,提供 了对于海量数据存储以及分布式计算的⽀持。Hadoop擅长于在廉价机器搭建的集群上进⾏...

    tensorflow安装介绍,具体案例,要点和难点

    TensorFlow安装介绍 TensorFlow是一个由谷歌开发的开源机器...它支持分布式计算,可以部署在各种硬件平台上,包括CPU、GPU和TPU。TensorFlow的安装通常包括选择适当的版本(CPU或GPU版本),下载并安装相应的软件包。

    计算机网络、操作系统、数据库、数据结构与算法、分布式集群、大数据、计算机组成原理、软件工程

    全面覆盖理论要点与实践操作,让您在学习和备考过程中游刃有余。 四、使用建议 系统学习:建议按照章节顺序进行系统学习,结合实验报告进行实践操作,以加深理解。 备考策略:利用复习资料与试卷资源,制定有效的...

    大数据开发的技巧总结以及入门教程知识点总结.docx

    分布式系统理解:掌握分布式计算原理,理解MapReduce、Spark、Flink等计算框架的工作机制。 数据清洗:熟练使用ETL工具和编程技术进行数据预处理和清洗。 集群管理:掌握Hadoop、YARN或Mesos等集群资源管理与调度...

    《果园管理系统》是一款集果树种植、购肥、购药、施肥、施药、采收及其他工作.zip

    《果园管理系统》是一款集...云计算与大数据:数据集、包括云计算平台、大数据分析、人工智能、机器学习等,云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。

    基于人工智能的智能电网研究应用.pptx

    录音 音频模板 特征提取 噪声消除 声纹图谱 辅助参数 声纹图谱库 分布式存储 模式匹配 客户档案 信誉等级 历史通话记录 声学特征 声学模型 语言模型 深度学习引擎 语音识 别引擎 自然语言处理引擎 训练 质检 场景...

    操作系统重点

     记忆要点:操作系统是什么——是系统软件;  操作系统管什么——控制和管理计算机系统内各种资源;  操作系统有何用——扩充硬件功能,方便用户使用。  功能  操作系统的五大主要功能:存储管理、进程和处理机...

    2021-2023 大型企业新兴技术路线图.pdf

    运维部门正在部署能够在2021年塑造变革的企业技术,如人工智能(AI)云服务、人工智能IT运营(AIOps)平台以及数据科学和机器学习平台等。今年,智能自动化基础设施管理服务、区块链平台和IoT平台等技术则处于试点...

    2021-2023年中型企业新兴技术路线图

    运维部门正在部署能够在2021年塑造变革的企业技术,如人工智能(AI)云服务、人工智能IT运营(AIOps)平台以及数据科学和机器学习平台等。今年,智能自动化基础设施管理服务、区块链平台和IoT平台等技术则处于试点...

    微软活动目录管理管理简明手册

    (一)安装活动目录的要点 3 t; E1 N, f& V* e4 p3 S首先,也是最重要的一点,就是你必须有安装活动目录的管理员权限,否则无法安装。' E/ P8 R' x% B$ f( q7 h5 i 3 ^7 w8 h% q+ a) v" n$ D0 K; C在安装活动目录之前...

    IIS6.0 IIS,互联网信息服务

    Internet Information Services(IIS,互联网信息服务),是由微软公司提供的基于运行Microsoft Windows的互联网基本服务。最初是Windows NT版本的可选包,随后内置在Windows 2000、Windows XP Professional和...

    二十三种设计模式【PDF版】

    3.J2EE 只是适合企业计算应用的框架软件,但是 GoF 的设计模式几乎可以用于任何应用!因此 GoF 的设计模式应该是 J2EE 的重要理论基础之一。 所以说,GoF 的设计模式是 Java 基础知识和 J2EE 框架知识之间一座隐性...

Global site tag (gtag.js) - Google Analytics