課程大綱：

Hadoop 核心組件基礎(chǔ)培訓(xùn)

1 Hadoop 基礎(chǔ)概念

2 Hadoop 偽分布式模式部署

3 HDFS 的初始化方法

4 HDFS 基本操作

5 MapReduce 應(yīng)用的編寫和編譯方法

6 YARN 配置文件的作用

7 HBase 的數(shù)據(jù)模型和基本操作

8 Sqoop 的數(shù)據(jù)傳輸方法

9 向 Solr 添加數(shù)據(jù)的方法

10 Hive 架構(gòu)及部署

11 Flume 的架構(gòu)和數(shù)據(jù)流模型

12 Flume Agent 配置方法

13 Kafka 的架構(gòu)及部署

14 Flume 與 Kafka 的連接方法

15 Pig 使用方法

16 HDFS 的基本使用

17 Hadoop 各配置項(xiàng)的作用

18 HDFS 架構(gòu)

19 MapReduce 核心思想及架構(gòu)

20 YARN 核心思想及架構(gòu)

YARN 應(yīng)用開發(fā)方式

Sqoop 的體系結(jié)構(gòu)

Solr 特性及部署

Solr 檢索數(shù)據(jù)的方式

Hive HQL 語(yǔ)言

多數(shù)據(jù)源下配置和啟動(dòng) Agent 的方法

Hive 導(dǎo)入外部數(shù)據(jù)的方法

Kafka Connect 的用法

Pig 架構(gòu)及部署

1
Hadoop 簡(jiǎn)介與安裝部署

1.Hadoop的體系結(jié)構(gòu)

2.Hadoop的主要模塊

3.Hadoop偽分布式模式部署

4.HDFS的基本使用

5.WordCount測(cè)試用例

1
Hadoop 系統(tǒng)部署

1.Hadoop各個(gè)配置項(xiàng)的作用

2.啟動(dòng)Hadoop守護(hù)進(jìn)程的方法

3.HDFS的初始化方法

2
HDFS 架構(gòu)與操作

1.HDFS架構(gòu)

2.HDFS基本操作

3.Web管理界面

4.WebHDFSAPI的使用

3
MapReduce 原理與實(shí)踐

1.MapReduce核心思想

2.MapReduce編程框架的結(jié)構(gòu)

3.MapReduce應(yīng)用的編寫和編譯方法

2
使用 MapReduce 進(jìn)行日志分析

1.Hadoop服務(wù)的啟動(dòng)

2.MapReduce應(yīng)用的編寫

3.生成Jar包的方法

4.HDFS的基本操作

4
YARN 架構(gòu)

1.YARN核心思想及架構(gòu)

2.YARN配置文件的作用

3.YARN應(yīng)用開發(fā)方式

4.YARNWebUI的使用

3
用 Hadoop 計(jì)算圓周率

1.HadoopMapReduce任務(wù)執(zhí)行

2.Hadoop示例程序的使用

3.Bash輸出重定向

5
HBase 基礎(chǔ)

1.關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型數(shù)據(jù)庫(kù)的聯(lián)系和區(qū)別

2.HBase的安裝部署方法

3.HBase的數(shù)據(jù)模型和基本操作

4
HBase 數(shù)據(jù)導(dǎo)入

1.HBase創(chuàng)建表的方法

2.HBase導(dǎo)入外部數(shù)據(jù)的方法

3.HDFS的基本操作

6
Sqoop 數(shù)據(jù)遷移

1.待遷移數(shù)據(jù)源的配置

2.Sqoop的體系結(jié)構(gòu)

3.Sqoop的數(shù)據(jù)傳輸方法

5
HBase 實(shí)現(xiàn) Web 日志場(chǎng)景數(shù)據(jù)處理

1.HBase過濾器的用法

2.HBase導(dǎo)入數(shù)據(jù)的方式

3.HBase表操作

4.Bash輸出重定向

7
Solr 基礎(chǔ)實(shí)戰(zhàn)

1.Solr的特性

2.Solr的部署方法

3.向Solr添加數(shù)據(jù)的方法

4.Solr檢索數(shù)據(jù)的方式

8
Hive 基礎(chǔ)實(shí)戰(zhàn)

1.Hive的架構(gòu)

2.Hive的基本數(shù)據(jù)單位

3.部署Hive的方法

4.HiveHQL語(yǔ)言

6
導(dǎo)入數(shù)據(jù)到 Hive

1.在Hive中創(chuàng)建表的方法

2.導(dǎo)入CSV數(shù)據(jù)到Hive表的方法

3.在Hive中執(zhí)行SQL查詢的方法

4.Bash輸出重定向

9
Flume 基礎(chǔ)實(shí)戰(zhàn)

1.Flume的架構(gòu)和數(shù)據(jù)流模型

2.Flume的安裝部署方法

3.多數(shù)據(jù)源下配置和啟動(dòng)Agent的方法

10
Flume、HDFS和Hive實(shí)現(xiàn)日志收集和分析

1.FlumeAgent配置方法

2.Hive啟動(dòng)方法

3.Hive中創(chuàng)建表的方式

4.Hive導(dǎo)入外部數(shù)據(jù)的方法

5.在Hive命令行運(yùn)行HQL查詢

7
用Flume和MapReduce進(jìn)行日志分析

1.FlumeAgent配置

2.MapReduce框架的編寫

3.MapReduce任務(wù)的執(zhí)行

11
Kafka 基礎(chǔ)實(shí)戰(zhàn)

1.Kafka的應(yīng)用場(chǎng)景

2.Kafka的架構(gòu)

3.Kafka與Flume的區(qū)別

4.Kafka的安裝部署方法

5.Kafka的故障恢復(fù)能力

6.KafkaConnect的用法

8
按需部署 Kafka

1.KafkaZooKeeper的配置

2.KafkaServer的用法

3.Kafka創(chuàng)建主題的方法

4.KafkaConnect的配置和使用

12
使用 Flume 和 Kafka 實(shí)現(xiàn)實(shí)時(shí)日志收集

1.模擬日志的生成方法

2.FlumeAgent的配置方法

3.Kafka的配置方法

4.Flume與Kafka的連接方法

13
Pig 基礎(chǔ)實(shí)戰(zhàn)

1.Pig的特性

2.Pig的架構(gòu)

3.Pig的安裝部署方法

4.Pig的啟動(dòng)模式

5.PigLatin