班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
每期人數(shù)限3到5人。 |
上課時(shí)間和地點(diǎn) |
開(kāi)課地址:【上海】同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站)【深圳分部】:電影大廈(地鐵一號(hào)線大劇院站) 【武漢分部】:佳源大廈【成都分部】:領(lǐng)館區(qū)1號(hào)【沈陽(yáng)分部】:沈陽(yáng)理工大學(xué)【鄭州分部】:錦華大廈【石家莊分部】:瑞景大廈【北京分部】:北京中山學(xué)院 【南京分部】:金港大廈
最新開(kāi)班 (連續(xù)班 、周末班、晚班):2020年3月16日 |
實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
質(zhì)量保障 |
1、培訓(xùn)過(guò)程中,如有部分內(nèi)容理解不透或消化不好,可免費(fèi)在以后培訓(xùn)班中重聽(tīng);
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
|
大數(shù)據(jù)在國(guó)內(nèi)的運(yùn)用 1、大數(shù)據(jù)在國(guó)內(nèi)的使用介紹
2、離線計(jì)算框架介紹
3、流式計(jì)算框架介紹
4、內(nèi)存計(jì)算框架介紹
5、內(nèi)存流式計(jì)算介紹
大數(shù)據(jù)的整體技術(shù)架構(gòu) 1、開(kāi)源大數(shù)據(jù)技術(shù)架構(gòu)
2、開(kāi)源大數(shù)據(jù)常用組件之間的依賴關(guān)系
3、離線計(jì)算框架介紹
—Mapreduce、Hive、Tez、Presto、Kylin
4、實(shí)時(shí)查詢框架介紹
—NoSQL、Hbase
5、實(shí)時(shí)計(jì)算框架介紹
—Kafka、Strom、Spark Streaming
6、內(nèi)存計(jì)算框架介紹
—Spark、SparkSQL、SparkMllib、SparkR
7、前沿大數(shù)據(jù)技術(shù)介紹
—Flink、Drill、Druid、KUDU等
8、海量日志快速檢索架構(gòu)
—ELK(Elasticsearch、Logstash、Kibana)等
Hadoop平臺(tái)優(yōu)化點(diǎn) 1、Linux系統(tǒng)的優(yōu)化
2、最佳硬件的選擇和建議
3、HDFS架構(gòu)和原理
4、HDFS的優(yōu)化、維護(hù)和經(jīng)常出現(xiàn)的問(wèn)題
5、MapReduce架構(gòu)和原理
6、MapReduce的優(yōu)化、維護(hù)和經(jīng)常出現(xiàn)的問(wèn)題
7、Yarn的內(nèi)存、CPU和IO的優(yōu)化
8、Hbase的優(yōu)化和生產(chǎn)環(huán)境常見(jiàn)的問(wèn)題
9、Hive的優(yōu)化和Hive的改進(jìn)工具介紹
10、Impala、Kylin、Presto工具介紹
11、RCFile、ORC和parquet格式介紹
Hadoop核心組件的運(yùn)維和配置 1、HDFS的元數(shù)據(jù)管理
2、FSimage和Edit文件解析
3、手動(dòng)修改FSimage和Edit文件
4、HDFS HA的架構(gòu)運(yùn)維解析
5、Yarn服務(wù)運(yùn)維詳解
6、Yarn核心配置參數(shù)的詳解
7、Hbase服務(wù)運(yùn)維詳解
8、手動(dòng)設(shè)置Split和Compaction操作
9、RS宕機(jī)的運(yùn)維處理
10、Hbase 超大表的優(yōu)化實(shí)踐
Yarn實(shí)戰(zhàn) 1、Yarn架構(gòu)和原理
2、ResourceManager工作原理
3、NodeManager工作原理
4、ApplicationMaster工作原理
5、Yarn的資源控制機(jī)制
6、基于內(nèi)存的控制設(shè)置
7、基于CPU的控制設(shè)置
8、基于IO的控制這是
9、Yarn為某個(gè)運(yùn)用獨(dú)立分配資
10、基于隊(duì)列的資源管理配置
11、基于底層硬件的SLA資源配置
12、不同部門或者用戶的資源配置
NoSQL和Hbase使用 1、NoSQL介紹
2、NoSQL應(yīng)用場(chǎng)景
3、Hbase原理
4、Hmaster詳解
5、RegionServer詳解
6、Zookeeper介紹
7、Hbase安裝
8、Hbase邏輯視圖介紹
9、Hbase物理視圖介紹
10、Hbase的二級(jí)索引介紹
11、Hbase 的DDL和DML
12、Hbase表的設(shè)計(jì)案例
13、Hbase的import功能介紹
14、MapReduce操作Hbase
15、Hbase的 thrift Server介紹
16、Hbase 的API介紹
17、Hbase使用場(chǎng)景介紹
18、Hbase案例分析
實(shí)戰(zhàn):
19、MapReduce操作Hbase實(shí)戰(zhàn)
20、Hbase的API實(shí)戰(zhàn)
21、Hbase表結(jié)構(gòu)設(shè)計(jì)實(shí)戰(zhàn)
22、銀行信用卡刷卡記錄的查詢
Spark Streaming原理和實(shí)踐 1、Spark Streaming原理
1.Spark流式處理架構(gòu)
2.DStream的特點(diǎn)
3.Dstream的操作和RDD的區(qū)別
4.SatefulRDD和windowRDD實(shí)戰(zhàn)
5.Kafka+Spark Steaming實(shí)戰(zhàn)
6.Spark Streaming的優(yōu)化
2、Kafka+Spark Streaming實(shí)例
-文本實(shí)例
3、網(wǎng)絡(luò)數(shù)據(jù)處理
Spark SQL原理和實(shí)踐 1、Spark SQL原理
1)Spark SQL的Catalyst優(yōu)化器
2)Spark SQL內(nèi)核
3)Spark SQL和Hive
2、DataFrame和DataSet架構(gòu)
3、Fataframe、DataSet和Spark SQL的比較
4、SparkSQL parquet格式實(shí)戰(zhàn)
5、Spark SQL的實(shí)例和編程
-Spark SQL的實(shí)例操作demo
6、Spark SQL的編程
Spark優(yōu)化 1、Spark SQL的優(yōu)化
2、基于Spark計(jì)算的文件格式選擇
3、Spark on Yarn的優(yōu)化
4、Spark SQL執(zhí)行計(jì)劃的優(yōu)化
5、Spark 內(nèi)存管理的機(jī)制
互聯(lián)網(wǎng)大數(shù)據(jù)案例分享 1、金融大數(shù)據(jù)應(yīng)用案例介紹
2、某銀行基于大數(shù)據(jù)平臺(tái)風(fēng)險(xiǎn)監(jiān)控案例
3、某銀行基于大數(shù)據(jù)數(shù)據(jù)湖的案例
4、SAP的HANA實(shí)時(shí)計(jì)算平臺(tái)案例分析 |