    基于分布式架構(gòu)大數(shù)據(jù)hadoop生態(tài)組件及數(shù)據(jù)分析可視化培訓(xùn)

1、分布式大數(shù)據(jù)框架Hadoop（理論·上）
本節(jié)主要講解大數(shù)據(jù)概述及Hadoop HDFS
2、分布式大數(shù)據(jù)框架Hadoop（實(shí)操·上）
本實(shí)操演練練習(xí)Hadoop部署及插件安裝
01 實(shí)操：Hadoop 安裝
紹搭建Hadoop集群的具體步驟。
02 實(shí)操：Hadoop開發(fā)插件安裝
介紹如何給Eclipse配置Hadoop插件、方便使用Eclipse開發(fā)工具進(jìn)行大數(shù)據(jù)開發(fā)。
視情況及反饋, 會(huì)選用 IntelliJ IDEA
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架 Hadoop
課程內(nèi)容： 1 、分布式處理框架 MapReduce
2、資源調(diào)度框架 Yarn
授課內(nèi)容：
1、分布式大數(shù)據(jù)框架Hadoop（理論·下）
主要講解Hadoop MR、Yarn
2、式大數(shù)據(jù)框架Hadoop（實(shí)操·下）
操演練練習(xí)Hadoop Shell操作及MR入門案例
03 實(shí)操：Hadoop Shell基本操作
本任務(wù)介紹常用的Hadoop Shell命令。
04 實(shí)操：Mapreduce實(shí)例——WordCount
本任務(wù)練習(xí)使用電商數(shù)據(jù)進(jìn)行詞頻統(tǒng)計(jì)。
章節(jié)內(nèi)容：數(shù)據(jù)倉(cāng)庫(kù) Hive + 數(shù)據(jù)遷移工具 Sqoop
課程內(nèi)容：
1、數(shù)據(jù)倉(cāng)庫(kù) Hive 介紹
2、Hive 安裝部署
3、Hive Shell 基本操作
4、Sqoop 安裝部署
5、Sqoop 數(shù)據(jù)遷移
6、Sqoop 增量數(shù)據(jù)遷移
授課內(nèi)容
1、 數(shù)據(jù)倉(cāng)庫(kù)Hive+數(shù)據(jù)遷移工具Sqoop（理論）
本節(jié)主要講解數(shù)據(jù)倉(cāng)庫(kù)Hive及遷移工具Sqoop
2、 數(shù)據(jù)倉(cāng)庫(kù)Hive+數(shù)據(jù)遷移工具Sqoop（實(shí)操）
本實(shí)操演練練習(xí)Hive基本操作及Sqoop應(yīng)用
05 實(shí)操：Hive安裝部署
本任務(wù)介紹如何安裝部署數(shù)據(jù)倉(cāng)庫(kù)Hive。
06 實(shí)操：Hive基本操作
本任務(wù)詳細(xì)介紹Hive的基本操作以及Hive的外部表與內(nèi)部表的區(qū)別。
07 實(shí)操：Sqoop安裝
本任務(wù)主要介紹Sqoop的工作原理，然后詳細(xì)說(shuō)明Sqoop的安裝部署過(guò)程。
08 實(shí)操：綜合案例—基本流程圖
本任務(wù)介紹Sqoop在Hive與Mysql之間進(jìn)行數(shù)據(jù)傳遞以及Hive數(shù)據(jù)分析
1、Flume 介紹
2、Flume Agent 詳解
授課內(nèi)容：
1、 分布式日志采集工具Flume（理論）
本節(jié)主要講解Flume工作原理、架構(gòu)、Agent概念
2、 分布式日志采集工具Flume（實(shí)操）
本演練實(shí)操練習(xí)Flume安裝部署及Agent配置詳解
09 實(shí)操：Flume安裝部署
本任務(wù)介紹Flume的工作原理和Flume安裝流程。
10 實(shí)操：Flume配置：Source、Channel、Sink
本任務(wù)介紹配置多種source，channel，sink組合，實(shí)現(xiàn)多種需求。
11 實(shí)操：Flume多source，多sink組合框架搭建
本任務(wù)介紹Flume多source，多sink組合框架搭建。
章節(jié)內(nèi)容：分布式消息系統(tǒng) Kafka
課程內(nèi)容：
1、Kafka 結(jié)構(gòu)分析 2、Flume 與 Kafka 聯(lián)用
授課內(nèi)容：
1、 分布式消息體統(tǒng)Kafka（理論）
本節(jié)主要講解Kafka工作原理、架構(gòu)及名詞概念
2、 分布式消息體統(tǒng)Kafka（實(shí)操）
本演練實(shí)操練習(xí)Kafka安裝部署、與Flume連用
12 實(shí)操：Kafka安裝及測(cè)試
本任務(wù)介紹安裝scala與zookeeper，然后在已安裝好的scala和zookeeper環(huán)境基礎(chǔ)上，安裝部署Kafka。
13 實(shí)操：Flume傳輸數(shù)據(jù)給Kafka
本任務(wù)介紹Flume傳數(shù)據(jù)到Kafka的執(zhí)行原理和具體操作。
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架Spark
課程內(nèi)容：
1、Spark 框架介紹
2、Spark RDD 介紹
3、Spark SQL 數(shù)據(jù)處理
4、Spark Shell 數(shù)據(jù)處理
授課內(nèi)容：
1、 分布式大數(shù)據(jù)框架Spark（理論）
本節(jié)主要講解Spark工作原理、架構(gòu)及RDD概念
2、分布式大數(shù)據(jù)框架Spark（實(shí)操）
本演練實(shí)操練習(xí)Spark安裝部署及Shell操作
14 實(shí)操：Spark Standalone偽分布模式安裝
本任務(wù)介紹在已經(jīng)安裝好Hadoop下，如何安裝Spark Standalone模式。
15 實(shí)操：Spark Shell操作
本任務(wù)介紹Spark Shell操作，在Spark Shell命令行下對(duì)算子進(jìn)行實(shí)例講解，包括去重、排序、Join、求平均值
1、爬蟲框架介紹
2、電商數(shù)據(jù)清洗
3、電商離線數(shù)據(jù)分析
4、數(shù)據(jù)遷移
授課內(nèi)容：
1、電子商務(wù)數(shù)據(jù)分析項(xiàng)目（爬蟲、清洗）
2、電子商務(wù)數(shù)據(jù)分析項(xiàng)目（離線數(shù)據(jù)分析）
16 實(shí)操：一、采集電商網(wǎng)站交易及評(píng)論數(shù)據(jù)(局域網(wǎng)or互聯(lián)網(wǎng))
本次任務(wù)對(duì)爬蟲進(jìn)行了介紹，并分析網(wǎng)頁(yè)的源碼結(jié)構(gòu)和如何爬取數(shù)據(jù)。
17 實(shí)操：二、開發(fā)MR程序清洗電商評(píng)論數(shù)
18 實(shí)操：三、利用HiveSQL離線分析評(píng)論數(shù)據(jù)
19 實(shí)操：四、利用Sqoop進(jìn)行數(shù)據(jù)遷移至Mysql數(shù)據(jù)庫(kù)
1、離線數(shù)據(jù)可視化 2、SparkStreaming 實(shí)時(shí)流數(shù)據(jù)處理