第一章:課程概述與Linux基礎(chǔ)
(01)Spark從基礎(chǔ)開始
(02)安裝Linux的實(shí)驗(yàn)環(huán)境
(03)Linux的配置與課程概述
(04)使用vi編輯器
(05)Linux的常用命令和JDK的安裝
(06)案例:分析Java的死鎖
第二章:Scala編程基礎(chǔ)
(07)Scala簡介和配置
(08)Scala中數(shù)據(jù)的類型
(09)變量、函數(shù)、條件判斷
(10)Scala中的循環(huán)
(11)函數(shù)的參數(shù)
(12)懶值和異常處理
(13)數(shù)組
(14)元組和映射
第三章:Scala的面向?qū)ο缶幊?/strong>
(15)Scala面向?qū)ο笳Z言概述
(16)面向?qū)ο蟮母拍詈皖惖亩x
(17)屬性的get和set方法
(18)內(nèi)部類
(19)類的構(gòu)造器
(20)Object對(duì)象
(21)類的apply方法
(22)繼承
(23)trait
(24)包和包對(duì)象
第四章:Scala的函數(shù)式編程
(25)Scala語言的函數(shù)式編程概述
(26)Scala的函數(shù)和匿名函數(shù)
(27)帶函數(shù)參數(shù)的函數(shù)
(28)閉包
(29)柯里化
(30)高階函數(shù)示例
第五章:Scala的集合
(31)可變集合和不可變集合
(32)可變列表和不可變列表
(33)序列
(34)集Set
(35)模式匹配
(36)樣本類
第六章:Scala的高級(jí)特性
(37)泛型類
(38)泛型函數(shù)
(39)上界和下界
(40)視圖界定
(41)協(xié)變和逆變
(42)隱式轉(zhuǎn)換函數(shù)
(43)隱式參數(shù)和隱式類
第七章:Spark的體系結(jié)構(gòu)與安裝配置
(44)Spark Core課程概述
(45)什么是Spark和特點(diǎn)
(46)Spark的體系結(jié)構(gòu)
(47)安裝和部署Spark環(huán)境
(48)基于文件目錄的單點(diǎn)故障恢復(fù)
(49)基于ZooKeeper的Spark HA的實(shí)現(xiàn)
(50)利用ZooKeeper實(shí)現(xiàn)分布式鎖
第八章:執(zhí)行Spark任務(wù)
(51)使用spark-submit提交spark任務(wù)
(52)使用spark-shell交互式命令行工具
(53)開發(fā)Scala版本的WordCount程序
(54)開發(fā)Java版本的WordCount程序
(55)分析WordCount程序的執(zhí)行過程
(56)Spark提交任務(wù)的流程
第九章:RDD和RDD的算子
(57)什么是RDD
(58)RDD的算子
(59)RDD基本算子示例
(60)RDD的緩存機(jī)制
(61)RDD的容錯(cuò)機(jī)制
(62)RDD的依賴關(guān)系和Spark任務(wù)中的Stage
(63)高級(jí)算子:mapPartitionsWithIndex
(64)高級(jí)算子:aggregate
(65)高級(jí)算子:aggregate(1)
(66)高級(jí)算子:aggregate(2)
(67)高級(jí)算子:aggregateByKey
(68)高級(jí)算子:coalesce和repartition
第十章:Spark RDD編程案例
(69)案例一:求網(wǎng)站訪問量
(70)案例二:自定義分區(qū)28:55
(71)案例三:訪問關(guān)系型數(shù)據(jù)庫29:58
(72)案例四:使用JdbcRDD
第十一章:Spark SQL基礎(chǔ)
(73)Spark SQL課程概述
(74)什么是Spark SQL?
(75)通過case class創(chuàng)建DataFrame
(76)通過SparkSession創(chuàng)建DataFrame
(77)通過帶格式的文件創(chuàng)建DataFrame
(78)操作DataFrame
(79)臨時(shí)視圖
(80)DataSet簡介
第十二章:Spark SQL的數(shù)據(jù)源
(81)load和save函數(shù)
(82)什么是Parquet文件
(83)Parquet文件Schema的合并
(84)讀取JSON文件
(85)使用JDBC數(shù)據(jù)源
(86)訪問HiveTable
(87)指定schema的格式
(88)使用caseclass
(89)保存到關(guān)系型數(shù)據(jù)庫中
(90)SparkSQL性能的優(yōu)化
第十三章:Spark Streaming基礎(chǔ)
(91)SparkStreaming課程概述
(92)什么是SparkStreaming和結(jié)構(gòu)
(93)演示Demo:NetworkWordCount
(94)開發(fā)自己的NetworkWordCount程序
第十四章:Spark Streaming進(jìn)階
(95)StreamingContext和DStream簡介
(96)DStream中的轉(zhuǎn)換操作
(97)窗口操作
(98)DStream的輸入和輸出
(99)集成Spark SQL
第十五章:使用外部數(shù)據(jù)源
(100)集成Spark Streaming和Flume(1)
(101)集成Spark Streaming和Flume(2)
(102)Kafka消息系統(tǒng)簡介和體系結(jié)構(gòu)
(103)搭建Kafka環(huán)境
(104)集成Spark Streaming和Kafka
-