        大數據處理技術-基于Hadoop/Yarn的大數據技術培訓

第一講云計算及大數據處理技術介紹

1）云計算的概念

2）云計算發展現狀

3）大數據的概念

4）大數據的應用

5）大數據關鍵技術

第二講Google的關鍵技術

1）GFS分布式文件系統

2）Chubby并發鎖機制

3）MapReduce計算模型

4）Bigtable大表管理技術

第三講Hadoop系統及HDFS

1） Hadoop及其運行架構

2） Yarn中的隔離和調度機制

3） HDFS分布式文件及塊

4） Seqenence file等DFS文件格式

5） HA和Federation

第四講MapReduce計算模型設計

1) MapReduce產生背景

2) MapReduce編程模型

3) MapReduce實現機制

4) MapReduce案例分析

第五講Pig 數據流處理工具

1）Pig 設計的

2）Pig Latine介紹

3）Pig關鍵性技術

4）Pig的實用案例

第六講 云數據倉庫Hive

1) Hive設計

2) Hive數據模型

3) Hive關鍵性技術

4) Hive的使用案例

第七講HBase和NoSQL

1）NoSQL技術及其應用介紹

2）HBase數據處理機制

3）HBase列族設計及API

4）HBase高并發讀/寫的實現

5）ZooKeeper并發控制模型

第八講 數據抽取工具Sqoop

1）云中數據與DBMS數據的交換

2）Sqoop數據抽取關鍵技術

3）Sqoop數據抽取策略

4）Sqoop的使用實例

第九講 Hadoop與其他云數據處理技術的融合

1）其他云環境中大數據處理技術介紹

2）與Spark實時處理技術的融合

3）與Storm流數據處理技術的融合

4）與Docker等其它云工具的融合

5）基于Hadoop/Yarn的大數據挖掘應用

六、培訓

1，了解基于Hadoop/Yarn的大數據處理相關知識。

2，學習Hadoop/Yarn的核心技術方法以及應用特征。

3，深入學習Hadoop/Yarn相關工具在大數據中的實操使用。

4，了解Hadoop與Storm、Spark、Docker等技術的融合使用。