班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
每期人數(shù)限3到5人。 |
上課時(shí)間和地點(diǎn) |
上課地點(diǎn):【上海】:同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】:電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】:北京中山學(xué)院/福鑫大樓 【南京分部】:金港大廈(和燕路) 【武漢分部】:佳源大廈(高新二路) 【成都分部】:領(lǐng)館區(qū)1號(hào)(中和大道) 【沈陽(yáng)分部】:沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】:鄭州大學(xué)/錦華大廈 【石家莊分部】:河北科技大學(xué)/瑞景大廈 【廣州分部】:廣糧大廈 【西安分部】:協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班):2020年3月16日 |
實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
質(zhì)量保障 |
1、培訓(xùn)過程中,如有部分內(nèi)容理解不透或消化不好,可免費(fèi)在以后培訓(xùn)班中重聽;
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
|
- Hadoop企業(yè)級(jí)完整實(shí)戰(zhàn)培訓(xùn)
?
Hadoop企業(yè)級(jí)完整實(shí)戰(zhàn)培訓(xùn)
:HDFS&MapReduce&HBase&Hive&Zookeeper&Pig&Project)
培訓(xùn)內(nèi)容
第一部分
第1個(gè)主題:Hadoop三問(徹底理解Hadoop)
1、?Hadoop為什么是云計(jì)算分布式大數(shù)據(jù)的事實(shí)開源標(biāo)準(zhǔn)軟件框架?
2、Hadoop的具體是如何工作?
3、Hadoop的生態(tài)架構(gòu)和每個(gè)模塊具體的功能是什么?
第2主題:徹底掌握HDFS(具備開發(fā)自己網(wǎng)盤的能力)
1、HDFS體系架構(gòu)剖析
2、NameNode、DataNode、SecondaryNameNode架構(gòu)
3、保證NodeName高可靠性最佳實(shí)踐
4、DataNode中Block劃分的原理和具體存儲(chǔ)方式
5、修改Namenode、DataNode數(shù)據(jù)存儲(chǔ)位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第3主題:徹底掌握HDFS(具備修改HDFS具體源碼實(shí)現(xiàn)的能力)
1、RPC架構(gòu)剖析
2、源碼剖析Hadoop構(gòu)建于RPC之上
3、源碼剖析HDFS的RPC實(shí)現(xiàn)
4、源碼剖析客戶端與與NameNode的RPC通信
第4個(gè)主題:徹底掌握MapReduce(從代碼的角度剖析MapReduce執(zhí)行的具體過程并具備開發(fā)MapReduce代碼的能力)
1、MapReduce執(zhí)行的經(jīng)典步驟
2、wordcount運(yùn)行過程解析
3、Mapper和Reducer剖析
4、自定義Writable
5、新舊API的區(qū)別以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行運(yùn)行
第二部分
第1個(gè)主題:徹底掌握MapReduce(具備掌握Hadoop如何把HDFS文件轉(zhuǎn)化為Key-Value讓供Map調(diào)用的能力)
1、?Hadoop是如何把HDFS文件轉(zhuǎn)化為鍵值對(duì)的?
2、?源碼剖析Hadoop讀取HDFS文件并轉(zhuǎn)化為鍵值對(duì)的過程實(shí)現(xiàn)
3、?源碼剖析轉(zhuǎn)化為鍵值對(duì)后供Map調(diào)用的過程實(shí)現(xiàn)
第2個(gè)主題:徹底掌握MapReduce(具備掌握MapReduce內(nèi)部運(yùn)行和實(shí)現(xiàn)細(xì)節(jié)并改造MapReduce的能力)
1、?Hadoop內(nèi)置計(jì)數(shù)器及如何自定義計(jì)數(shù)器
2、?Combiner具體的作用和使用以及其使用的限制條件
3、?Partitioner的使用最佳實(shí)踐
4、?Hadoop內(nèi)置的排序算法剖析
5、?自定義排序算法
6、?Hadoop內(nèi)置的分組算法
7、?自定義分組算法
8、?MapReduce常見場(chǎng)景和算法實(shí)現(xiàn)
第3個(gè)主題:實(shí)戰(zhàn)ZooKeeper(具備理解并通過命令行和Java兩種方式操作ZooKeeper的能力)
1、ZooKeeper架構(gòu)剖析及集群搭建
2、使用命令行操作ZooKeeper
3、使用Java操作ZooKeeper
第4個(gè)主題:實(shí)戰(zhàn)HBase(具備掌握HBase企業(yè)級(jí)開發(fā)和管理的能力)
1、?HBase架構(gòu)實(shí)現(xiàn)
2、?HBase的數(shù)據(jù)模型和存儲(chǔ)模型
3、?使用CLI操作HBase
4、?使用Java操作HBase
5、?使用MapReduce代碼向HBase中導(dǎo)入批量數(shù)據(jù)
第三部分
第1個(gè)主題:實(shí)戰(zhàn)Pig(具備掌握Pig企業(yè)級(jí)開發(fā)和管理的能力)
1、?Pig架構(gòu)
2、?使用Pig操作數(shù)據(jù)的內(nèi)幕
3、?使用Pig實(shí)例數(shù)據(jù)
第2個(gè)主題:實(shí)戰(zhàn)Hive(具備掌握Hive企業(yè)級(jí)開發(fā)和管理的能力)
1、?Hive架構(gòu)剖析
2、?Hive在HDFS中存儲(chǔ)實(shí)現(xiàn)
3、?使用MySQL作為Hive的Metastore
4、?內(nèi)部表、分區(qū)表、外部表、桶表
5、?視圖
6、?自定義Hive的函數(shù)
第3個(gè)主題:某知名電商Hadoop項(xiàng)目(具備掌握Hadoop完整項(xiàng)目的分析、開發(fā)、部署的全過程的能力)
通過電信商搜集用戶接打電話、上網(wǎng)等產(chǎn)生的日志對(duì)用戶的電話和網(wǎng)絡(luò)行為進(jìn)行分析和監(jiān)控,初步貫穿前面講解的主要內(nèi)容,使大家熟悉Hadoop一個(gè)完整項(xiàng)目的分析、開發(fā)、部署的全過程。
?
?
"
|