班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
每期人數(shù)限3到5人。 |
上課時(shí)間和地點(diǎn) |
上課地點(diǎn):【上海】:同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】:電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】:北京中山學(xué)院/福鑫大樓 【南京分部】:金港大廈(和燕路) 【武漢分部】:佳源大廈(高新二路) 【成都分部】:領(lǐng)館區(qū)1號(hào)(中和大道) 【沈陽(yáng)分部】:沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】:鄭州大學(xué)/錦華大廈 【石家莊分部】:河北科技大學(xué)/瑞景大廈 【廣州分部】:廣糧大廈 【西安分部】:協(xié)同大廈
最近開(kāi)課時(shí)間(周末班/連續(xù)班/晚班):2020年3月16日 |
實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
質(zhì)量保障 |
1、培訓(xùn)過(guò)程中,如有部分內(nèi)容理解不透或消化不好,可免費(fèi)在以后培訓(xùn)班中重聽(tīng);
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
|
- Hadoop EDW 數(shù)據(jù)庫(kù)管理員培訓(xùn)
?
Hadoop EDW 數(shù)據(jù)庫(kù)管理員培訓(xùn)
課程目標(biāo):
此課程面向公司系統(tǒng)管理員、數(shù)據(jù)庫(kù)管理員,希望轉(zhuǎn)型的DBA 等。以及對(duì)Hadoop感興趣的各類(lèi)技術(shù)人員。通過(guò)此課程的培訓(xùn),學(xué)員可以深入理解Hadoop技術(shù)架構(gòu),對(duì)Hadoop
運(yùn)作機(jī)制有清晰全面的認(rèn)識(shí),可以獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群,掌握Hadoop基本運(yùn)維思路和方法,對(duì)Hadoop集群進(jìn)行管理和優(yōu)化。
目標(biāo)學(xué)員:軟件工程師、高級(jí)軟件工程師、數(shù)據(jù)庫(kù)開(kāi)發(fā)人員、互聯(lián)網(wǎng)服務(wù)后臺(tái)開(kāi)發(fā)人員、運(yùn)維人員????
????
培訓(xùn)大綱
一、集群安裝和管理??????
?
模塊一、Hadoop的來(lái)源和動(dòng)機(jī)
??????
·傳統(tǒng)大規(guī)模系統(tǒng)存在的問(wèn)題
??????
· 對(duì)一種新的解決方案的需求
?
模塊二、EasyHadoop安裝和部署準(zhǔn)備
??????
·Hadoop系統(tǒng)模塊組件概述
??????
·Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
??????
·Hadoop 安裝依賴關(guān)系
??????
·Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)
?
模塊三、EasyHadoop集群安裝和部署
??????
·Red hat Linux基礎(chǔ)環(huán)境搭建 上機(jī)實(shí)驗(yàn)
??????
·Hadoop 單機(jī)系統(tǒng)版本 安裝配置 上機(jī)實(shí)驗(yàn)
??????
·Hadoop 集群系統(tǒng)版本 安裝和啟動(dòng)配置 上機(jī)實(shí)驗(yàn)
??????
·Hadoop 集群異常Debug 方法
??????
·Hadoop 集群簡(jiǎn)單測(cè)試方法
??????
·使用 Hadoop MapReduce Streaming 快速測(cè)試系統(tǒng)
?
模塊四、Hadoop組件詳解????
??????
·Hadoop HDFS 基本結(jié)構(gòu)
??????
·Hadoop HDFS 副本存放策略
??????
·Hadoop NameNode 詳解
??????
·Hadoop SecondaryNameNode 詳解
??????
·Hadoop DataNode 詳解
??????
·Hadoop JobTracker 詳解
??????
·Hadoop TaskTracker 詳解
?
模塊五、EasyHadoop集群配置詳解????
??????
·Hadoop core-site,hdfs-site,mapred-site 配置詳解
??????
·Hadoop 高可用配置方法
二、集群優(yōu)化和管理??????
?
模塊六、EasyHadoop集群配置:機(jī)架感知,開(kāi)啟壓縮和任務(wù)均衡????
???????
·Hadoop 集群安裝和開(kāi)啟LZO壓縮 上機(jī)實(shí)驗(yàn)
???????
·Hadoop 配置集群具備機(jī)架感知? 上機(jī)實(shí)驗(yàn)
???????
·Hadoop 集群開(kāi)啟公平任務(wù)調(diào)度器 上機(jī)實(shí)驗(yàn)
???????
·Hadoop 集群開(kāi)啟能力任務(wù)調(diào)度器 上機(jī)實(shí)驗(yàn)
?
模塊七、Hadoop 集群維護(hù)與管理????
???????
·查看集群狀態(tài)
???????
·HDFS數(shù)據(jù)管理
???????
·Mapreduce 任務(wù)管理
???????
·HDFS安全模式
???????
·模擬集群Namenode,jobtrack失效
???????
·添加刪除節(jié)點(diǎn)
???????
·數(shù)據(jù)平衡
???????
·文件數(shù)據(jù)跨集群拷貝
???????
·集群升級(jí)
?
模塊八、Hadoop 集群規(guī)劃和測(cè)試????
???????
·集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡(luò))
???????
·集群性能測(cè)試"
?
模塊九、Hadoop 集群監(jiān)控和運(yùn)維????
???????
·使用Ganglia 監(jiān)控Hadoop集群
???????
·使用Cacti 監(jiān)控操作系統(tǒng)"
?
模塊十、Hadoop HDFS高可用????
???????
·Hadoop 元數(shù)據(jù)NFS備份方案
???????
·Hadoop SecondaryNameNode備份方案
???????
·Hadoop CheckpointNode備份方案
???????
·Hadoop BackupNode備份方案
???????
·Hadoop Cloudera HA Namenode 方案
三、EasyHive EasyPig 數(shù)據(jù)倉(cāng)庫(kù)???????
?
模塊一、EasyHive倉(cāng)庫(kù)集群
??????
·Hive的作用和原理說(shuō)明
??????
·Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系
??????
·Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流
??????
·Hive 部署和安裝
??????
·Hive Cli 的基本用法
??????
·HQL基本語(yǔ)法
?
模塊二、EasyHive倉(cāng)庫(kù)集群高級(jí)
??????
·使用JDBC 連接Hive進(jìn)行查詢和分析
??????
·使用正則表達(dá)式加載數(shù)據(jù)
??????
·HQL高級(jí)語(yǔ)法
??????
·編寫(xiě)UDF函數(shù)
??????
·編寫(xiě)UDAF自定義函數(shù)"
?
模塊三、EasyHive倉(cāng)庫(kù)優(yōu)化
??????
·使用Hive分區(qū)優(yōu)化查詢
??????
·使用Lzo壓縮優(yōu)化數(shù)據(jù)存儲(chǔ)容量
??????
·HiveServer HA (使用haproxy提高HiveServer可用性)
??????
·編寫(xiě)Hive自定義MapReduce腳本優(yōu)化查詢
??????
·Hive數(shù)據(jù)傾斜和查詢性能優(yōu)化"
?
模塊四、EasyHive倉(cāng)庫(kù)外圍系統(tǒng)????
??????
·使用Sqoop進(jìn)行數(shù)據(jù)分析
??????
·使用oozie配置工作流
??????
·phpHiveAdmin 安裝和使用
?
?
?
?
?
?
?
?
?
? ?
?
?
?
?
?
"
|