1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
       2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
       3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書，提升職業資質。專注高端技術培訓15年，端海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，端海的證書受到廣泛認可。

• 第1章 課程介紹
  課程介紹
• 1-1 PySpark導學 試看
  1-2 OOTB環境演示
  第2章 實戰環境搭建
  工欲善其事必先利其器，本章講述JDK、Scala、Hadoop、Maven、Python3以及Spark源碼編譯及部署
• 2-1 -課程目錄
  2-2 -Java環境搭建
  2-3 -Scala環境搭建
  2-4 -Hadoop環境搭建
  2-5 -Maven環境搭建
  2-6 -Python3環境部署
  2-7 -Spark源碼編譯及部署
  第3章 Spark Core核心RDD
  本章詳細講解RDD是什么以及特性(面試常考)、Spark中兩個核心類SparkContext和SparkConf、pyspark啟動腳本分析、RDD的創建方式以及如何使用IDE開發Python Spark應用程序并提交到服務器上運行
• 3-1 -課程目錄
  3-2 -RDD是什么
  3-3 -通過電影描述集群的強大之處
  3-4 -RDD的五大特性
  3-5 -RDD特性在源碼中的體現 試看
  3-6 -圖解RDD
  3-7 -SparkContext&SparkConf詳解
  3-8 -pyspark
  3-9 -RDD創建方式一
  3-10 -RDD創建方式二
  3-11 -使用IDE開發pyspark應用程序
  3-12 -提交pyspark作業到服務器上運行
  第4章 Spark Core RDD編程
  本章將針對RDD中常用的算子進行詳細案例講解，并進行綜合案例實戰
• 4-1 -課程目錄
  4-2 -RDD常用操作
  4-3 -map算子使用詳解
  4-4 -filter算子詳解
  4-5 -flatMap算子詳解
  4-6 -groupByKey算子詳解
  4-7 -reduceByKey算子詳解
  4-8 -sortByKey算子詳解
  4-9 -union算子使用詳解
  4-10 -distinct算子使用詳解
  4-11 -join算子詳解
  4-12 -action常用算子詳解
  4-13 -算子綜合案例實戰一詞頻統計
  4-14 -算子綜合案例實戰之詞頻統計重構
  4-15 -算子綜合案例實戰之TopN統計
  4-16 -算子綜合案例實戰之平均數統計
  第5章 Spark運行模式
  本章將介紹Spark的幾種運行模式，需要重點掌握on YARN模式
• 5-1 -課程目錄
  5-2 -local模式運行
  5-3 -standalone模式環境搭建及pyspark運行
  5-4 -standalone模式spark-submit運行
  5-5 -yarn運行模式詳解
  第6章 Spark Core進階
  本章將介紹Spark中的核心術語、運行架構、并對比Spark和MapReduce的概念區分、存儲策略及選擇方式、寬窄依賴及Shuffle
• 6-1 -課程目錄
  6-2 -Spark核心概念詳解
  6-3 -結合Spark UI詳解Spark核心概念 試看
  6-4 -Spark運行架構及注意事項
  6-5 -Spark和Hadoop重要概念區分
  6-6 -Spark緩存的作用
  6-7 -Spark緩存概述
  6-8 -Spark緩存策略詳解
  6-9 -Spark緩存策略選擇依據
  6-10 -Spark Lineage機制
  6-11 -Spark窄依賴和寬依賴
  6-12 -Spark Shuffle概述
  6-13 -圖解RDD的shuffle以及依賴關系
  第7章 Spark Core調優
  本章將從Spark作業性能指標、序列化、內存管理、廣播變量及數據本地化這幾個方面來介紹Spark作業的調優
• 7-1 -課程目錄
  7-2 -優化之HistoryServer配置及使用
  7-3 -優化之序列化
  7-4 -優化之內存管理
  7-5 -優化之廣播變量
  7-6 -優化之數據本地性
  第8章 Spark SQL
  本章將講解Spark SQL的架構、DataFrame&Dataset、以及如何使用Python API來對DataFrame進行編程
• 8-1 -課程目錄
  8-2 -Spark SQL前世今生
  8-3 -Spark SQL概述&錯誤認識糾正
  8-4 -Spark SQL架構
  8-5 -DataFrame&Dataset詳解
  8-6 -DataFrame API編程
  8-7 -RDD與DataFrame互操作方法一
  8-8 -RDD與DataFrame互操作方法二
  8-9 -Spark SQL其他
  第9章 Spark Streaming
  本章將講解Spark Streaming的核心概念、執行原理、以及如何Python API來對Spark Streaming進行編程
• 9-1 -課程目錄
  9-2 -Spark Streaming概述
  9-3 -實時流處理框架對比
  9-4 -Spark Streaming執行原理
  9-5 -從詞頻統計案例來了解SparkStreaming
  9-6 -核心概念之StreamingContext
  9-7 -核心概念之DStream及常用操作
  9-8 -SparkStreaming操作文件系統數據實戰
  第10章 Azkaban基礎篇
  本章將講解Azkaban的特性、架構、運行模式、源碼編譯及部署、快速入門
• 10-1 Azkaban基礎篇課程目錄
  10-2 -工作流概述
  10-3 -工作流在大數據處理中的重要性
  10-4 -常用調度框架介紹
  10-5 -Azkaban概述及特性
  10-6 -Azkaban架構
  10-7 -Azkaban運行模式詳解
  10-8 -Azkaban源碼編譯
  10-9 -Azkaban solo server環境部署
  10-10 -Azkaban快速入門案例
  第11章 Azkaban實戰篇
  本章將講解如何使用Azkaban來完成HDFS、MapReduce、Hive作業的調度、定時作業調度以及郵件告警
• 11-1 -Azkaban實戰篇課程目錄
  11-2 -依賴作業在Azkaban中的使用
  11-3 -HDFS作業在Azkaban中的使用
  11-4 -MapReduce作業在Azkaban中的使用
  11-5 -Hive作業在Azkaban中的使用
  11-6 -定時調度作業在Azkaban中的使用
  11-7 -郵件告警及SLA在Azkaban中的使用
  第12章 Azkaban進階篇
  本章將講解Azkaban在生產上的部署、權限管理、Ajax API、Plugin、以及短信和調度框架的二次開發
• 12-1 -Azkaban進階篇課程目錄
  12-2 -Two Server Mode之數據庫準備工作
  12-3 -Two Server Mode之AzkabanWebServer搭建
  12-4 -Two Server Mode之AzkabanExecServer搭建
  12-5 -Two Server Mode之使用實戰
  12-6 -Azkaban權限管理
  12-7 -Azkaban中AJAX API使用
  12-8 -Azkaban Plugin的使用
  12-9 -Azkaban中短信告警改造思路
  12-10 Azbakan在生產上使用的改造思路
  第13章 項目實戰
  本章將講解在構建大數據平臺的技術選型、集群升級資源評估，并使用Spark對氣象數據進行分析，講分析結果寫入ES，并通過Kibana進行統計結果的可視化展示
• 13-1 -課程目錄
  13-2 -大數據項目開發流程
  13-3 -大數據企業級應用
  13-4 -企業級大數據分析平臺
  13-5 -集群數據量預估
  13-6 -集群機器規模&資源&作業規劃
  13-7 -項目需求
  13-8 -數據加載成DataFrame并選出需要的列
  13-9 -SparkSQL UDF函數開發
  13-10 -每年Grade出現的次數統計
  13-11 -Grade在每年中的占比統計
  13-12 -ES部署及使用
  13-13 -Kibana部署及使用
  13-14 -將作業運行到YARN上
  13-15 -統計分析結果寫入ES測試
  13-16 -統計分析結果入ES并通過Kibana圖形化展示