課程大綱：

Apache Kafka 基礎入門培訓

課程以 Java 代碼實戰(zhàn)的方式學習 Kafka。

包括 Kafka 的安裝配置、Producer API 的使用、

Consumer API 的使用以及與第三方框架 Flume、Spark Streaming 的集成開發(fā)。

對在大數(shù)據(jù)項目中經常用到的 Kafka 關鍵知識點，

進行全方位、源代碼級別的學習，使學員深入理解 Kafka 的內部機制。

1 MQ 消息系統(tǒng)的概念

2 Zookeeper 和 Kafka 的關系

3 使用 Java 調用 Kafka topic 相關 API

4 Producer 入門開發(fā)

5 Consumer 入門開發(fā)

6 Kafka 整合 Flume

7 Kafka 發(fā)送接收非結構化數(shù)據(jù)實戰(zhàn)

8 Kafka 消息系統(tǒng)的基本架構

9 使用 shell 命令修改和刪除 topic

10 查看 Kafka 中消息的存儲位置

11 Producer 進階開發(fā)

12 Consumer 進階開發(fā)

13 Kafka 發(fā)送接收結構化數(shù)據(jù)實戰(zhàn)

14 Spark 2.0 讀取 Kafka 數(shù)據(jù)實戰(zhàn)

1
Kafka，

1.了解MQ消息系統(tǒng)的概念

2.理解Kafka消息系統(tǒng)的基本架構

3.安裝單機版Kafka集群

4.使用Shell命令創(chuàng)建Topic

5.使用Consumer、Producer發(fā)送和接收消息

2
理解 Kafka 集群

1.理解Zookeeper和Kafka的關系

2.理解broker、topic、producer、consumer、partition等專有術語

3.用本節(jié)的專業(yè)術語重新回顧上節(jié)課的實驗

3
理解 Kafka topic

1.使用shell命令修改topic、刪除topic

2.使用Java語言調用Kafkatopic相關API

3.查看Kafka中消息的存儲位置

4
Producer 開發(fā)入門

1.開發(fā)Producer程序的基礎知識

2.開發(fā)Java程序發(fā)送消息到Kafka集群

3.學習如何創(chuàng)建一個KafkaProducer和ProducerRecord對象

4.學習如何使用默認的partitioner和serializer發(fā)送消息

5
Producer 開發(fā)進階

1.畫圖展示producer發(fā)送消息到Kafka的過程

2.從源碼級別理解producer發(fā)送消息的過程

3.開發(fā)自定義partitioner分區(qū)器

6
Consumer 開發(fā)入門

1.理解消費者組的概念

2.學習開發(fā)consumer程序的基本步驟

3.編程控制消費指定offset的消息

7
Consumer 開發(fā)進階

1.消息offset的同步提交

2.消息offset的異步提交

3.按partition維度提交offset

4.按處理的消息量提交offset

8
Kafka 整合 Flume

1.Flume的安裝和配置

2.Flume接收命令行消息發(fā)送到Kafka

9
Kafka 發(fā)送接收結構化數(shù)據(jù)

1.使用Java開發(fā)消息發(fā)送程序Producer

2.使用Java開發(fā)消息讀取程序Consumer

10
Kafka 發(fā)送接收非結構化數(shù)據(jù)

1.發(fā)送和接收圖片數(shù)據(jù)

2.發(fā)送和接收視頻數(shù)據(jù)

11
Spark 2 整合 Kafka

1.使用Eclipse搭建Spark20開發(fā)環(huán)境

2.使用Sparkstreaming讀取Kafka數(shù)據(jù)，輸出到console