 班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結(jié)束后,授課老師留給學員聯(lián)系方式,保障培訓效果,免費提供課后技術(shù)支持。
3、培訓合格學員可享受免費推薦就業(yè)機會。 |
課程大綱 |
第一部分除了Hadoop框架以外，大數(shù)據(jù)界的現(xiàn)狀與展望，機遇與挑戰(zhàn)，開源項目的注意事項（尤其對大型企業(yè)）也會在課程中介紹和研討，內(nèi)容以思路，框架和架構(gòu)為主
第二部分邊學變練，內(nèi)容以應用編程為主，掌握基本的Hadoop編程原理
第三部分邊學邊練，了解MapReduce之上的封裝Pig以及Hive，以及數(shù)據(jù)跨平臺傳輸工具Sqoop，研討關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)框架的主要應用差異
第四部分邊學邊練，了解NOSQL計算框架HBase，流計算框架Storm，了解高可用配置管理工具ZooKeeper
課程大綱：
第1部分
大數(shù)據(jù)基礎(chǔ)與Hadoop框架 數(shù)據(jù)分析概述
數(shù)據(jù)的演變
傳統(tǒng)數(shù)據(jù)庫面臨的挑戰(zhàn)
大數(shù)據(jù)處理的機遇
業(yè)務分析經(jīng)典案例：啤酒與尿布
IT分析經(jīng)典場景：數(shù)據(jù)中心容量規(guī)劃
IBM Watson——基于大數(shù)據(jù)的認知計算
大數(shù)據(jù)的人才需求:大數(shù)據(jù)方案 ≠ Hadoop
大數(shù)據(jù)的人才需求:大數(shù)據(jù)總體架構(gòu)?
大數(shù)據(jù)的人才培養(yǎng)：從云計算起源說起?
大數(shù)據(jù)的人才培養(yǎng)：理論結(jié)合實踐?
Hadoop概述
數(shù)據(jù)存儲與分析
數(shù)據(jù)的并行訪問
Hadoop的核心組件
Hadoop的基本特征
Hadoop的生態(tài)圈
Hadoop與大數(shù)據(jù)
Hadoop與關(guān)系型數(shù)據(jù)庫
Hadoop發(fā)展簡史
開源項目注意事項
組織結(jié)構(gòu)
技術(shù)路線把控
協(xié)議與授權(quán)
構(gòu)建Hadoop集群
集群安裝與配置
SSH的配置
Hadoop的配置
安全相關(guān)的考慮
集群性能指標
云上的Hadoop
第2部分
MapReduce與HDFS MapReduce
什么是MapReduce
使用MapReduce進行數(shù)據(jù)分析
MapReduce橫向擴展
MapReduce數(shù)據(jù)流
Combine函數(shù)
MapReduce 2.0
非Java語言支持
實踐：基于Eclipse的Hadoop開發(fā)環(huán)境搭建
實踐：使用MapReduce編寫北京市小汽車搖號中簽姓名統(tǒng)計程序
實踐：編寫MapReduce程序的單元測試程序
實踐：編寫MapReduce程序的驅(qū)動程序
實踐：在單機環(huán)境下運行MapReduce程序
實踐：使用Ant腳本部署MapReduce程序并在分布式環(huán)境下運行
實踐：使用Hadoop Web控制臺查看作業(yè)輸出
HDFS(2小時講授)
什么是HDFS
HDFS的優(yōu)勢與劣勢
HDFS的數(shù)據(jù)塊
Namenode與Datanode
Hadoop客戶端
Namenode的高可用
Hadoop支持的各種文件系統(tǒng)
Hadoop支持的各種接口
文件讀取的數(shù)據(jù)流
文件寫入的數(shù)據(jù)流
網(wǎng)絡拓撲與hadoop
CAP定理在Hadoop中的展現(xiàn)：一致性模型與應用注意事項
distcp并行復制
集群的均衡
文件的歸檔
實踐：編寫Hadoop程序打印系統(tǒng)配置
實踐：編寫Hadoop程序?qū)⒈镜匚募截惖紿DFS上
實踐：編寫Hadoop程序顯示文件內(nèi)容
實踐：編寫Hadoop程序列出文件狀態(tài)
第3部分
Pig，Hive，Sqoop Pig Latin及其使用
Pig 設計的目標
Pig Latine介紹
Pig關(guān)鍵性技術(shù)
Pig的實用案例
HIVE：分布式環(huán)境下的數(shù)據(jù)分析平臺
MapReduce與關(guān)系型數(shù)據(jù)模型
什么是HIVE
HIVE系統(tǒng)架構(gòu)
HIVE數(shù)據(jù)模型
HIVE數(shù)據(jù)類型
HIVE查詢語言
HIVE查詢實例與應用場景
HIVE列存儲的優(yōu)劣
HIVE的擴展屬性
Sqoop
什么是Sqoop
導入數(shù)據(jù)的數(shù)據(jù)流
導入數(shù)據(jù)的查詢劃分
直接模式數(shù)據(jù)導入
使用導入的數(shù)據(jù)
導入數(shù)據(jù)到HIVE
大對象
導出數(shù)據(jù)的數(shù)據(jù)流
導出與事物
關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)系統(tǒng)進行數(shù)據(jù)遷移的注意事項
??
第4部分
流數(shù)據(jù)處理，
高可用配置管理與跨平臺數(shù)據(jù)遷移工具 HBASE：非結(jié)構(gòu)化數(shù)據(jù)NOSQL平臺
Hbase概述
HBase的數(shù)據(jù)模型
HBase的實現(xiàn)
HBase的運行時
服務器的寫操作與宕機恢復
服務器的讀操作
使用hbase shell進行表相關(guān)操作
通過Java客戶端實現(xiàn)表相關(guān)操作
通過MapReduce程序?qū)崿F(xiàn)數(shù)據(jù)處理
將數(shù)據(jù)加載到HBase中
數(shù)據(jù)加載的性能
HBase與關(guān)系型數(shù)據(jù)庫
Hadoop用戶在HBase的常見問題
分布式流數(shù)據(jù)處理
Storm概述
Storm的拓撲組成
Storm的簡單實例與應用
Spark概述
Spark計算模型
Spark工作機制
Spark實例
ZooKeeper：分布式環(huán)境下的高可用架構(gòu)
什么是ZooKeeper
分布式環(huán)境的部分失效
ZooKeeper的特點
一個分布式的問題
ZooKeeper的組、成員與節(jié)點
實踐：編寫程序創(chuàng)建組、加入組、列出組成員與刪除組
分布式問題的回顧
ZooKeeper服務的數(shù)據(jù)模型
ZooKeeper服務的操作類型
ZooKeeper服務的高可用
ZooKeeper服務的一致性
實踐：編寫程序使用ZooKeeper構(gòu)建高可靠的分布式配置服務
使用ZooKeeper時的異常處理
使用ZooKeeper實現(xiàn)鎖服務
更多的分布式數(shù)據(jù)結(jié)構(gòu)和協(xié)議 |
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業(yè)
