1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
       2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
       3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書，提升職業資質。專注高端技術培訓15年，端海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，端海的證書受到廣泛認可。

• 目標收益
  本課程將為大家全面而又深入的介紹Spark、Hadoop平臺的構建流程，涉及Spark、Hadoo系統基礎知識，概念及架構， Spark、Hadoo實戰技巧，Spark、Hadoo經典案例等。
  通過本課程實踐，幫助學員對Spark、Hadoo生態系統有一個清晰明了的認識；理解Spark、Hadoo系統適用的場景；掌握Spark、Hadoo等初中級應用開發技能；搭建穩定可靠的Spar、Hadoo k集群，滿足生產環境的標準；了解和清楚大數據應用的幾個行業中的經典案例，包括阿里巴巴，華為等。
• 培訓對象
• 各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。
• 學員基礎
• 了解Linux系統及相關語言環境
• 課程大綱
  
• 主題 內容
  Hadoop簡介和生態系統介紹
• 傳統大規模數據分析存在的問題
  Hadoop概述
  Hadoop與分布式文件系統
  Hadoop生態系統
  Hadoop的行業應用案例分析
  Hadoop在云計算和大數據的位置和關系
  Hadoop版本介紹
  Hadoop與Google FS的關系
  Hadoop在國內的使用情況和未來
• Hadoop安裝和主要配置文件介紹
• Hadoop安裝所需軟件介紹
  Hadoop單機安裝
  Hadoop偽分布式安裝
  Hadoop完全分布式安裝
  Hadoop三個節點安裝的配置介紹
  Hahoop多節點ssh配置
  Hadoop格式化詳解
  Hadoop核心配置文件介紹
  核心配置文件core-site.xml
  HDFS配置文件hdfs-site.xml
  Mapreduce配置文件mapred-site.xml
  master文件配置詳解
  slave文件配置詳解
  Hadoop啟動和停止方法一
  —start-all.sh詳解
  —stop-all.sh詳解
  Hadoop的啟動和停止方法二
  —hadoop-deamon.sh詳解
  Hadoop安裝的常見錯誤介紹和解決方案
  使用自帶的wordcount和pi測試集群安裝是否成功
  使用Streaming來測試集群安裝是否成功
• Hadoop組件介紹
• Hadoop NameNode 介紹
  Hadoop SecondaryNameNode 介紹
  Hadoop DataNode 介紹
  Hadoop JobTracker 介紹
  Hadoop TaskTracker 介紹
• Hadoop的HDFS模塊
• HDFS架構介紹
  HDFS原理介紹
  NameNode功能詳解
  DataNode功能詳解
  SecondaryNameNode功能詳解
  HSFD的fsimage和editslog詳解
  HDFS的block詳解
  HDFS的block的備份策略
  Hadoop的機架感知配置
  HDFS的shell命令介紹
  HDFS的thrift server服務介紹
  HDFS的API接口介紹
  HDFS的權限詳解
  Hadoop的客服端接入案例
• MapReducer入門
• Mapreduce原理
  MapReduce流程
  剖析一個MapReduce程序
  Mapper和Reducer抽象類詳解
  Mapreduce的最小驅動類
  MapReduce自帶的類型
  自定義Writables和WritableComparables
  Mapreduce的輸入InputFormats
  MapReduce的輸出OutputFormats
  Combiner詳解
  Partitioner詳解
  DistributeFileSystem詳解
  Hadoop Tools工具介紹
  Counter計數器詳解
  自定義Counter計數器
  基于Hadoop二次開發實戰
  MapReduce的優化
  Map和Reduce的個數設置
  Hadoop小文件優化
  任務調度
  默認的任務調度
  公平任務調度
  能力任務調度
  使用 Hadoop MapReduce Streaming 編程
  MapReduce的單元測試
• Hive
• Hive和Pig基礎
  Hive、Impala和presto的比較
  Hive的作用和原理說明
  Hadoop倉庫和傳統數據倉庫的協作關系
  Hadoop/Hive倉庫數據數據流
  Hive部署和安裝
  HiveCli的基本用法
  Hive的server啟動
  HQL基本語法
  Hive的加載數據本地加載和HDFS加載
  Hive的partition詳解
  Hive的存儲方式詳解
  RCFILE、TEXTFILE和SEQUEUEFILE
  Hive的UDF和UDAF
  Hive的transform詳解
  Hive的JDBC連接
• Sqoop介紹
• Sqoop是什么
  Sqoop安裝
  Sqoop把mysql數據導入HDFS
  Sqoop把HDFS數據導入Mysql
  Sqoop吧Mysql數據導入Hive
  Sqoop吧Mysql數據導入Hive分區
• Hadoop集群配置和維護
• Hadoop集群的部署要點
  NameNode和SecondaryNameNode和JobTracker機器的配置要求
  dataNode與tasktracker機器的配置要求
  Hadoop集群管理的工具介紹
  Ganglia和nigos監控Hadoop集群介紹
  Ambri介紹
  添加和刪除節點演示
  Namenode的單點解決方案
  NameNode的NFS備份介紹
  集群所有dataNode掛掉的故障介紹
  集群NameNode的fsimage丟掉恢復方法
  Hadoop集群維護的注意點
• Hbase使用
• Hbase原理
  Hmaster詳解
  RegionServer詳解
  Zookeeper介紹
  Hbase安裝
  Hbase邏輯視圖介紹
  Hbase物理視圖介紹
  Hbase的二級索引介紹
  Hbase的DDL和DML
  Hbase表的設計案例
  Hbase的import功能介紹
  MapReduce操作Hbase
  Hbase的thriftServer介紹
  Hbase的API介紹
  Hbase使用場景介紹
  Hbase案例分析
• 大數據在國內的運用
• 大數據在國內的使用介紹
  離線計算框架介紹
  流式計算框架介紹
  內存計算框架介紹
  內存流式計算介紹
  大數據實時請求框架介紹
  大數據在移動的案例介紹
  大數據在銀行的案例介紹
  大數據在阿里的案例介紹
• Spark生態介紹
• Spark產生背景
  Spark（內存計算框架）
  SparkSteaming（流式計算框架）
  SparkSQL（ad-hoc）
  Mllib（MachineLearning）
  GraphX（bagel將被代）
• spark安裝部署
• Spark安裝簡介
  Spark的源碼編譯
  SparkStandalone安裝
  SparkStandaloneHA安裝
  Spark應用程序部署工具spark-submit
• Spark運行架構和解析
• Spark的運行架構
  基本術語
  運行架構
  SparkonStandalone運行過程
  SparkonYARN運行過程
  Spark運行實例解析
  SparkonStandalone實例解析
  SparkonYARN實例解析
• SparkSQL原理和實踐
• SparkSQL原理
  SparkSQL的Catalyst優化器
  SparkSQL內核
  SparkSQL和Hive
  SparkSQL的實例和編程
  SparkSQL的實例操作demo
  SparkSQL的編程