第一部份:Spark生態(tài)和安裝部署
Spark概述
Spark現(xiàn)狀
安裝部署
Spark安裝簡介
Spark的源碼編譯
Spark Standalone安裝
Spark Standalone HA安裝
Spark工具
Spark交互式工具spark-shell
Spark應(yīng)用程序部署工具spark-submit
第二部份:Spark編程模型和解析
Spark的編程模型
RDD的特點(diǎn)、操作、依賴關(guān)系
緩存策略
廣播變量和累加器
Spark編程環(huán)境搭建
Spark編程實(shí)例
第三部份:Spark運(yùn)行架構(gòu)和解析
Spark的運(yùn)行架構(gòu)
基本術(shù)語
運(yùn)行架構(gòu)(DAGScheduler、TaskSeduler、Task、容錯性、推測機(jī)制、數(shù)據(jù)本地性)
Spark on Standalone運(yùn)行過程
Spark on YARN 運(yùn)行過程
第四部份:hive入門
hive的運(yùn)行架構(gòu)
hive的安裝
hive的實(shí)例演示
第五部份:SparkSQL原理和實(shí)踐
Spark的運(yùn)行架構(gòu)
Catalyst
sqlontext
hiveContext
ThriftServer和CLI
ThriftServer
CLI
SparkSQL的實(shí)例演示和編程
spark-shell實(shí)例演示
spark-sql實(shí)例演示
SparkSQL的編程
第六部份:SparkStreaming原理和實(shí)踐
SparkStreaming原理
SparkStreaming的原理
SparkStreaming的運(yùn)行方式
DStream的特點(diǎn)和操作
SparkStreaming實(shí)例演示
網(wǎng)絡(luò)數(shù)據(jù)演示
文本實(shí)例演示
Window操作演示
第七部份:MLlib入門
什么是機(jī)器學(xué)習(xí)
MLlib的架構(gòu)
Mllib實(shí)例演示
聚類算法演示
推薦系統(tǒng)演示
第八部份:GraphX入門
圖論基礎(chǔ)
GraphX的架構(gòu)
GraphX實(shí)例演示
圖的基本操作
PageRank演示
第九部份:Spark運(yùn)維
Spark On YARN
history server
job server
Spark的監(jiān)控
Spark UI監(jiān)控
第十部份:Scala on Spark
spark常用的scala基礎(chǔ)
如何閱讀spark源代碼
如何構(gòu)建spark項(xiàng)目
第十一部份:Spark編程
RDD的編程
Spark綜合實(shí)例(SparkSQL+sparkMlib+R)
第十二部份:Spark源碼研讀
Spark源碼總體介紹
SparkCore源碼細(xì)解
Spark Examples介紹
第十三部份:雜談
Spark相關(guān)項(xiàng)目
BlinkDB簡介
SparkR的安裝和實(shí)例
Techyon