課程目標：
通過本次Hadoop培訓，會對大數(shù)據(jù)離線計算、實時計算的企業(yè)級構架有清晰的理解以及對常用的成熟的大數(shù)據(jù)開源項目從原理到使用有深入的理解。
實時計算的項目常用組合為Flume(數(shù)據(jù)采集) + Kafka(高可用高并發(fā)分布式消息隊列) + spark streaming(流式計算) + hbase(分布式列式存儲數(shù)據(jù)庫，億級行百萬列毫秒級查詢)
離線計算項目常用組合為分布式文件存儲HDFS，資源調度器、分布式計算框架MapReduce、數(shù)據(jù)倉庫Hive。
課程大綱：
第一 部份
【1】
離線計算：
Hadoop大數(shù)據(jù)生態(tài)圈、分布式存儲HDFS、資源管理
大數(shù)據(jù)生態(tài)圈介紹
開源相關項目說明以及每個項目的用途
實時計算整體構架詳解
離線計算整體構架詳解
分布式文件系統(tǒng)HDFS是什么
HDFS的體系結構
HDFS高可用集群原理詳解
HDFS如何使用
資源管理器介紹以及構架
資源管理器核心組件詳解
資源調度器詳解
【2】
離線計算：
Hadoop MapReduce&Hive
分布式計算MapReduce介紹
MapReduce整體流程
MapReduce實例
數(shù)據(jù)倉庫工具Hive介紹
Hive模型介紹：數(shù)據(jù)庫、表、分區(qū)、高級函數(shù)
Hive元數(shù)據(jù)介紹
第二部份
【1】
實時計算：
數(shù)據(jù)采集Flume、分布式消息隊列Kafka
實時計算整體構架設計
Flume是什么以及體系結構介紹
Flume組件介紹：agent、source、channel、sink
Flume高可用拓撲介紹
Kafka體系結構詳解
Kafka核心概念
Kafka高可用高并發(fā)原理
Kafka生產者消費者
Flume寫入kafka
【2】
實時計算：
spark streaming流式計算、HBase分布式列存儲
spark是什么以及體系結構
彈性分布式數(shù)據(jù)集RDD
spark streaming流式計算體系結構
spark steaming讀取kafka
spark算子詳解
HBase存儲數(shù)據(jù)庫體系結構
Hbase的高可用
HBase數(shù)據(jù)模型詳解
HBase毫秒級查詢
合作伙伴與授權機構
總部李老師
