二维码
数据分析平台
数据分析平台课程大纲：
数据分析平台第一天
第1个主题：Hadoop的来源和动机
1.传统大规模系统存在的问题
2.对一种新的解决方案的需求
3.Hadoop应用案例解析
4.Hadoop 版本介绍
5.Hadoop与传统分布式环境的区别
第2个主题：Hadoop安装和部署准备
1.Hadoop系统模块组件概述
2.Hadoop试验集群的部署结构
3.Hadoop 安装依赖关系
4.Hadoop 生产环境的部署结构
第3个主题：Hadoop集群安装和部署
第4个主题：Hadoop组件详解
1.Hadoop HDFS 基本结构
2.Hadoop HDFS 副本存放策略
3.Hadoop NameNode 详解
4.Hadoop SecondaryNameNode 详解
5.Hadoop DataNode 详解
6.Hadoop JobTracker 详解
7.Mapper
8.Reducer
9.API 使用Eclipse进行快速开发
10.新MapReduce API
第5个主题：Hadoop 核心代码剖析
1. Hadoop Mapper 类核心代码剖析
2. Hadoop Reducer 类核心代码剖析
第6个主题：HDFS分布式文件系统编程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API对HDFS编程
第7个主题
数据分析平台第二天
第1个主题：Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任务提交流程剖析
第2个主题： Hadoop MapReduce Streaming编程
1. Hadoop Streaming 和 Java MapReduce Api 差异
2. 使用 MapReduce 实现数据库功能
第3个主题：MapReduce分布式程序
1. MapReduce流程
2.剖析一个MapReduce程序
3.基本MapReduceAPI 概念
4.驱动代码
第4个主题：Hadoop Mapreduce高级编程
1.ToolRunner介绍
2.使用MRUnit进行测试
3.利用Combiners来减少中间数据
4.使用Configure和Close方法来进行Map/Reduce设置和关闭
5.编写Partitioner来优化负载平衡
6.直接访问Hadoop分布式文件系统（HDFS）
7.使用分布式缓存（Distributed Cache）
第5个主题：MapReduce的优化
1. map优化
2. reduce优化
3. 小文件优化
第6个主题：MapReduce的任务调度
1. Queue调度的使用
2. 公平调度的使用
3. 能力调度的使用
第7个主题Hadoop 生态系统介绍
分布式管理组件-Zookeeper
分布式数据仓库-Hive
分布式数据库-Hbase
数据导入导出-Sqoop
工作流管理- Ozzie
Hadoop数据仓库-Hive
Hive基础
Hive的作用和原理说明
Hadoop仓库和传统数据仓库的协作关系；Hive与传统数据库的对接使用
Hadoop/Hive仓库数据数据流
数据分析平台第三天
Hadoop数据仓库-Hive
Hive Cli 的基本用法
HQL基本语法
自行编写数据库与Hadoop相互ETL工具的思路
Hadoop 分布式数据仓库-Hbase
Hbase概念与架构
hbase核心知识点
hbase安装、部署
Hbase配置优化综述
表设计优化相关参数
监控工具使用方法及注意事项
常见异常现象级处理方法
数据分析平台总结
转载请注明来自总裁淘课网(www.ceotaoke.cn)－找总裁班就上总裁淘课网!
