課程大綱：

Spark 實時電商數(shù)據(jù)分析及可視化培訓

Spark 實時電商數(shù)據(jù)分析可視化系統(tǒng)是一個經(jīng)典的大數(shù)據(jù)應用項目，

技術棧主要有 Flume、Kafka、Spark Streaming、Flask 等，

幫助大家了解和運用一些當前熱門的大數(shù)據(jù)處理組件來親自動手搭建一套大數(shù)據(jù)處理平臺框架和熟悉大數(shù)據(jù)項目的基礎開發(fā)流程。

1 Spark Streaming 與 Kafka 的對接

2 Kafka 消費者和生產(chǎn)者的應用

3 Echarts 數(shù)據(jù)展示

4 SocketIO 的使用

5 Dstream 中使用 Redis

6 Kafka 主題創(chuàng)建及數(shù)據(jù)存儲

7 Kafka 整合 Flume

8 Flask 與 Kafka 對接

9 Flask 整合 SocketIO

10 Spark Streaming 高級函數(shù)應用

1
數(shù)據(jù)采集與傳輸

1.Flume和Kafka基本操作命令

2.Kafka中Topic的創(chuàng)建

3.Flume作為Kafka數(shù)據(jù)源的配置

4.Zookeeper、Kafka、Flume整合使用

5.Flume與Kafka整合的優(yōu)點

6.數(shù)據(jù)消費

2
數(shù)據(jù)處理之 Spark 對接 Kafka

1.Sparkshell應用

2.Scala在項目中的使用

3.SparkStreaming對接Kafka

4.SparkDstream的創(chuàng)建

5.消費Kafka中Topic的數(shù)據(jù)

6.樣例類的創(chuàng)建

7.數(shù)據(jù)預處理

3
數(shù)據(jù)處理之 Spark 函數(shù)應用

1.Sparkstreaming中map、updateStateBy等函數(shù)的應用

2.KafkaSink工具類創(chuàng)建

3.KafkaProducer的創(chuàng)建及使用

4.累加函數(shù)的編寫

5.Sparkstreaming中的全局狀態(tài)

4
數(shù)據(jù)可視化之 Flask 對接 Kafka

1.Flask簡單應用

2.項目框架配置

3.kafkaConsumer的創(chuàng)建

4.Flask與Kafka對接

5.消費Kafka中Topic的數(shù)據(jù)

5
數(shù)據(jù)可視化之 SocketIO 數(shù)據(jù)推送

1.SocketIO應用

2.Flask視圖函數(shù)

3.Socket對象創(chuàng)建

4.線程回調(diào)函數(shù)編寫

5.JavaScript應用

6
Echarts 應用

1.Echarts引入及應用

2.Echarts常用屬性

3.Echarts加載SocketIO數(shù)據(jù)

4.Echarts圖表對象創(chuàng)建

7

1.Redis簡介及應用

2.滑動窗口的應用

3.Redis數(shù)據(jù)存儲

4.Redis工具類創(chuàng)建

8

1.Flink簡介及應用

2.項目中使用Flink替代Spark

3.Canal簡介及應用

4.HBase簡介及應用

5.基于Flink的實時數(shù)倉