Hadoop管理及開(kāi)發(fā)培訓(xùn)
課程目標(biāo)：
1、?深入理解Hadoop實(shí)現(xiàn)原理和架構(gòu)
2、?Hadoop系統(tǒng)安裝、配置、運(yùn)維
3、?大型Hadoop項(xiàng)目的開(kāi)發(fā)、運(yùn)行、調(diào)試、優(yōu)化
4、?HBase、Hive、Pig、Oozie、ZooKeeper等相關(guān)項(xiàng)目使用和開(kāi)發(fā)
課程大綱：
1、?Hadoop簡(jiǎn)介
a)?什么是大數(shù)據(jù)
b)?傳統(tǒng)的并行計(jì)算和分布式計(jì)算
c)?Hadoop的誕生
d)?Hadoop的特點(diǎn)
2、?HDFS分布式文件系統(tǒng)管理
a)?HDFS設(shè)計(jì)目標(biāo)
b)?HDFS工作原理
c)?HDFS命令行工具介紹
d)?HDFS系統(tǒng)及硬件推薦配置
e)?HDFS安裝
f)?HDFS參數(shù)設(shè)置推薦
g)?HDFS配置參數(shù)具體介紹
3、?HDFS分布式文件系統(tǒng)開(kāi)發(fā)
a)?Eclipse?開(kāi)發(fā)環(huán)境
b)?Java?API?詳解
c)?練習(xí)
4、?Map/Reduce分布式運(yùn)算框架管理
a)?為什么需要M/R
b)?M/R的工作機(jī)制
c)?M/R相關(guān)的系統(tǒng)服務(wù)
d)?M/R參數(shù)配置
e)?M/R啟動(dòng)、停止、查看日志
f)?M/R任務(wù)調(diào)度策略
5、?Map/Reduce分布式運(yùn)算框架開(kāi)發(fā)
a)?M/R程序的框架及接口詳解
b)?M/R的輸入輸出
c)?運(yùn)行M/R程序
d)?練習(xí)
6、?HBase分布式數(shù)據(jù)庫(kù)管理及開(kāi)發(fā)
a)?NoSQL介紹
b)?什么是HBase、為什么使用HBase
c)?HBase與關(guān)系型數(shù)據(jù)庫(kù)的對(duì)比
d)?HBase架構(gòu)、服務(wù)、存儲(chǔ)結(jié)構(gòu)
e)?表、列簇、分區(qū)
f)?HBase安裝、配置、啟動(dòng)、日志
g)?HBase的Java?API：CRUD、M/R、Filter
h)?練習(xí)
i)?HBase高級(jí)特性：Coprocessor、性能優(yōu)化
j)?練習(xí)
k)?Schema設(shè)計(jì)要點(diǎn)
7、?Hive數(shù)據(jù)倉(cāng)庫(kù)使用與開(kāi)發(fā)
a)?Hive的使用場(chǎng)景
b)?Hive的安裝與配置
c)?Hive?QL詳解
d)?UDF與UDAF的編寫(xiě)
e)?練習(xí)
8、?Pig腳本的使用與開(kāi)發(fā)
a)?Pig的使用場(chǎng)景
b)?Pig的安裝與配置
c)?Pig?Latin語(yǔ)言詳解
d)?用戶(hù)函數(shù)以及運(yùn)行模式
9、?Oozie工作流引擎
a)?Oozie的使用場(chǎng)景
b)?工作流的定義
c)?流程XML原語(yǔ)
d)?練習(xí)
10、?Hadoop系統(tǒng)監(jiān)控與運(yùn)維：Ganglia集成
11、?Storm流計(jì)算框架簡(jiǎn)介
12、?ZooKeeper分布式調(diào)度系統(tǒng)的原理、架構(gòu)、特性、配置、API
13、?Sqoop數(shù)據(jù)庫(kù)集成框架簡(jiǎn)介
14、?Flume數(shù)據(jù)流采集系統(tǒng)簡(jiǎn)介
15、?Mahout、Redis、Lucene/Solr簡(jiǎn)介
?