云計(jì)算分布式大數(shù)據(jù)Hadoop培訓(xùn)
? 云計(jì)算分布式大數(shù)據(jù)Hadoop培訓(xùn)——
HDFS&MapReduce&HBase&Hive&集群管理培訓(xùn)
第一部分：
第1個(gè)主題：Hadoop思考
1.Hadoop的設(shè)計(jì)目標(biāo)和適用場(chǎng)景
2.Hadoop架構(gòu)解析
3.MapReduce工作原理和案例說(shuō)明
第2個(gè)主題：?Hadoop安裝和配置實(shí)戰(zhàn)
1.?安裝和配置單機(jī)版Hadoop實(shí)戰(zhàn)
2.?安裝和配置偽分布式Hadoop實(shí)戰(zhàn)
3．安裝和配置分布式Hadoop集群實(shí)戰(zhàn)
第3個(gè)主題：HDFS
1.?HDFS命令行操作實(shí)戰(zhàn)
2.?HDFS的配置管理
3.?NameNode的工作機(jī)制
第4個(gè)主題：HDFS案例實(shí)戰(zhàn)
1.?HDFS案例的分析和設(shè)計(jì)
2.?環(huán)境搭建
3.使用Hadoop?Java?API實(shí)現(xiàn)對(duì)HDFS寫(xiě)入、讀取、刪除文件等操作
第5個(gè)主題：MapReduce剖析
1.?MapReduce的原理和運(yùn)行過(guò)程
2.?構(gòu)建MapReduce的開(kāi)發(fā)環(huán)境
第6個(gè)主題：MapReduce案例實(shí)戰(zhàn)
1.?使用MapReduce的Java接口實(shí)現(xiàn)經(jīng)典的WordCount
2.?wordcount運(yùn)行過(guò)程解析
3.?MapReduce實(shí)現(xiàn)數(shù)據(jù)去重操作
4.?MapReduce實(shí)現(xiàn)數(shù)據(jù)排序
5.?MapReduce實(shí)現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計(jì)算
第二部分：
第1個(gè)主題：HBase架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)剖析
1.?HBase架構(gòu)設(shè)計(jì)
2.?HBase中的表結(jié)構(gòu)等
3.?HBase：Master、Region、Region?Server
第2個(gè)主題：HBase案例實(shí)戰(zhàn)1---使用HBase實(shí)現(xiàn)微博系統(tǒng)
1.?項(xiàng)目架構(gòu)和設(shè)計(jì)
2.?開(kāi)發(fā)環(huán)境搭建
3.?實(shí)現(xiàn)用戶登錄和注銷(xiāo)
4.“關(guān)注”功能的設(shè)計(jì)和實(shí)現(xiàn)
5.“發(fā)微博”功能的設(shè)計(jì)和實(shí)現(xiàn)
6.發(fā)布和運(yùn)行整個(gè)基于HBase的微博系統(tǒng)
第3個(gè)主題：HBase與MapReduce
1.?HBase與MapReduce的關(guān)系
2.?HBase如何使用MapReduce
第4個(gè)主題：HBase案例實(shí)戰(zhàn)2---話單查詢與統(tǒng)計(jì)
1.?項(xiàng)目架構(gòu)設(shè)計(jì)
2.?開(kāi)發(fā)環(huán)境搭建
3.?話單入庫(kù)和查詢的設(shè)計(jì)與實(shí)現(xiàn)
4.統(tǒng)計(jì)功能的設(shè)計(jì)與實(shí)現(xiàn)
第5個(gè)主題：MapReduce高級(jí)實(shí)戰(zhàn)
1.?Split實(shí)現(xiàn)剖析
2.?自定義輸入的實(shí)現(xiàn)
3.?Reduce的partition?
4.?案例實(shí)戰(zhàn)
第6個(gè)主題：安裝和使用Hive
1.?Hive剖析
2.?安裝Hive
3.Hive的基本使用
第7個(gè)主題：Hive與HDFS、MapReduce
1.?Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)
2.?使用MySQL作為Hive的元數(shù)據(jù)庫(kù)
3.Hive與MapReduce
第8個(gè)主題：Hive案例實(shí)戰(zhàn)---數(shù)據(jù)統(tǒng)計(jì)
1.?項(xiàng)目架構(gòu)設(shè)計(jì)
2.?表結(jié)構(gòu)設(shè)計(jì)
3.數(shù)據(jù)的插入與統(tǒng)計(jì)實(shí)現(xiàn)
第三部分：
第1個(gè)主題：Hadoop集群配置:機(jī)架感知,開(kāi)啟壓縮和任務(wù)均衡
Hadoop?集群安裝和開(kāi)啟LZO壓縮
Hadoop?配置集群具備機(jī)架感知
Hadoop?集群開(kāi)啟公平任務(wù)調(diào)度器
Hadoop?集群開(kāi)啟能力任務(wù)調(diào)度器
第2個(gè)主題：Hadoop?集群維護(hù)與管理
查看集群狀態(tài)
HDFS數(shù)據(jù)管理
Mapreduce?任務(wù)管理
HDFS安全模式
模擬集群Namenode,jobtrack失效
添加刪除節(jié)點(diǎn)
數(shù)據(jù)平衡
文件數(shù)據(jù)跨集群拷貝
集群升級(jí)
第3個(gè)主題：Hadoop?集群規(guī)劃和測(cè)試
1.?集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡(luò))
2.?集群性能測(cè)試
第4個(gè)主題：Hadoop?集群監(jiān)控和運(yùn)維
1.?使用Ganglia?監(jiān)控Hadoop集群
2.?使用Cacti?監(jiān)控操作系統(tǒng)
第5個(gè)主題：Hadoop?HDFS高可用
Hadoop?元數(shù)據(jù)NFS備份方案
Hadoop?SecondaryNameNode備份方案
Hadoop?CheckpointNode備份方案
Hadoop?BackupNode備份方案
Hadoop?Cloudera?HA?Namenode?方案
第6個(gè)主題：Hadoop開(kāi)發(fā)者之路
1.?Hadoop技能模型
2.?Hadoop開(kāi)發(fā)者最佳學(xué)習(xí)路線和方式
3.Hadoop開(kāi)發(fā)者最佳成長(zhǎng)路線
?