Hadoop開發(fā)培訓(xùn)
Hadoop開發(fā)培訓(xùn)
課程目標(biāo)
此課程面向企業(yè)軟件工程師、數(shù)據(jù)庫工程師、以及對Hadoop開發(fā)感興趣的各類技術(shù)人員。通過此課程的學(xué)習(xí)，學(xué)員可以全面掌握Hadoop的架構(gòu)原理和使用場景，并通過貫穿課程的習(xí)題項目進行實戰(zhàn)鍛煉，從而熟練使用Hadoop進行MapReduce程序開發(fā)。
培訓(xùn)大綱：
Hadoop背景介紹
Hadoop生態(tài)系統(tǒng)概覽
Hadoop分布式文件系統(tǒng)(HDFS)
什么是HDFS
HDFS設(shè)計目標(biāo)
HDFS系統(tǒng)特點
HDFS工作原理
HDFS服務(wù)進程
HDFS使用
HDFS命令行工具
啟動、停止HDFS服務(wù)
如何查看HDFS日志
查看HDFS?Web控制臺
HDFS配置參數(shù)
上機開發(fā)環(huán)境介紹
HDFS開發(fā)
Java?API詳解
FuseHDFS
WebHDFS?Restful?API
MapReduce分布式計算框架
什么是MapReduce
MapReduce服務(wù)
MapReduce工作機制
MapReduce調(diào)度管理
MapReduce參數(shù)設(shè)置
啟動、停止MapReduce服務(wù)
如何查看MapReduce日志
查看MapReduce?Web控制臺
MapReduce示例程序解析
MapReduce框架類庫介紹
MapReduce實戰(zhàn)，你的第一個MapReduce項目
項目需求簡述
項目設(shè)計討論
項目偽代碼分析
項目實現(xiàn)，上機練習(xí)
MapReduce進階實戰(zhàn)
項目性能優(yōu)化
項目結(jié)果分類匯總
項目結(jié)果排序
如何用其它語言開發(fā)MapReduce應(yīng)用
MapReduce常用算法（Sort、Index、Join、IF-IDF等）介紹
Hadoop生態(tài)系統(tǒng)介紹
HBase入門
利用Oozie對MapReduce任務(wù)進行調(diào)度
利用Flume?NG?和?Sqoop與各種數(shù)據(jù)源對接
利用Hive和Pig來簡化MapReduce的開發(fā)
ZooKeeper介紹