| |
Spark培訓課程
|
| |
 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
1 spark 架構設計
1.1 spark軟件棧，spark生態系統
1.2 spark簡介，spark版本和發布
1.3 spark架構設計解析
1.4 RDD計算流程解析
1.5 Spark出色的容錯機制
2 spark運行模式及原理
2.1 spark運行模式概述
2.2 local模式
2.3 standalone模式,集群HA
2.4 local cluster模式
2.5 yarn-client/yarn-cluster模式
2.6 mesos模式
3 spark RDD編程模式
3.1 RDD基礎，RDD分區，RDD優先位置…
3.2 RDD操作，action,transformation,lazy
3.3 Lineage
3.4 寬依賴和窄依賴
3.5 常見的轉換操作和行動操作
3.6 持久化
4 深入spark內核
4.1 Spark集群
4.2 任務調度
4.3 DAGScheduler,TaskScheduler,task內部揭秘
4.4 廣播變量的機制和實踐
4.5 累加器的機制和實踐
4.6 Spark作業提交和接收過程
4.7 Spark shuffle性能分析
4.8 Cache和checkpoint
5 Sparksql
5.1 在應用中使用sparksql,比如：基本查詢例子，schemeRDD,cache
5.2 讀取和存儲數據
1 hive,2 parquet,3 json,4基于RDD
5.3 Jdbc/odbc服務器，beeline
5.4 用戶自定義函數，sparksql udf,hive udf
5.5 Sparksql性能
6 spark streaming
6.1 spark streaming基本概念，架構
6.2 dstream
6.3 transformation轉換操作，無狀態轉換操作，有狀態轉化操作
6.4 checkpoint
6.5 輸入源
6.6 容錯機制
6.7 性能考量，比如批次和窗口大小，并行度，垃圾回收和內存使用
7 spark機器學習
7.1 機器學習快速入門
7.2 Spark MLlib介紹
7.3 Spark Mllib架構解析
7.4 MLlib經典算法解析和案例
7.4.1：K-Means解析和實戰
8 Tachyon文件系統
8.1 tachyon文件系統概述
8.2 tachyon與hdfs
8.3 tachyon設計原理
8.4 tachyon部署
8.5 tachyon api
8.6 tachyon實踐解析
9 spark性能優化
9.1 spark性能優化遇到的問題以及解決辦法
9.2 spark內存優化
9.3 垃圾回收
9.4 Spark原理以及參數優化
9.5 Spark性能優化案例
10 spark項目架構解析
10.1 實際項目場景中架構設計和方案
|
|
|
|
|
|
|
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
