大數(shù)據(jù)開發(fā)知識培訓(xùn)

01.Java基礎(chǔ)
Java基礎(chǔ)語法 面向?qū)ο缶幊?常用類和工具類 集合框架體系 異常處理機(jī)制 文件和IO流 移動開戶管理系統(tǒng) 多線程 枚舉和垃圾回收 反射 JDK新特性 通訊錄系統(tǒng)

Scala多范式編程語言編寫程序； Spark大數(shù)據(jù)計(jì)算框架原理；Spark實(shí)時流處理技術(shù)；Spark大數(shù)據(jù)計(jì)算框架調(diào)優(yōu)； 要求能夠?qū)Σ煌瑯I(yè)務(wù)場景下Spark Core、Spark Streaming、Spark SQL的技術(shù)選型有足夠認(rèn)知，能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應(yīng)功能； Flink實(shí)時流處理技術(shù)；熟悉項(xiàng)目中應(yīng)用開發(fā)。

02 JavaEE核心
前端技術(shù) 數(shù)據(jù)庫 JDBC技術(shù) 服務(wù)器端技術(shù) Maven Spring SpringBoot Git

熟悉大數(shù)據(jù)開發(fā)基本流程和技術(shù)架構(gòu)； 熟悉機(jī)器學(xué)習(xí)算法理論基礎(chǔ)； 熟悉Python語言基礎(chǔ)及數(shù)據(jù)算法庫； 熟悉機(jī)器學(xué)習(xí)應(yīng)用場景； 熟悉Spark機(jī)器學(xué)習(xí)框架； 熟悉數(shù)據(jù)分析平臺開發(fā)全流程； 熟悉大數(shù)據(jù)推薦系統(tǒng)的開發(fā)全流程

03 Hadoop生態(tài)體系
Linux Hadoop ZooKeeper Hive HBase Phoenix Impala Kylin Flume Sqoop&DataX Kafka Oozie&Azkaban Hue 智慧農(nóng)業(yè)數(shù)倉分析平臺

Linux操作系統(tǒng)安裝及基本命令；shell腳本編程； 大數(shù)據(jù)架構(gòu)Hadoop原理及編程使用；熟悉大數(shù)據(jù)框架Hadoop調(diào)優(yōu) ZooKeeper工作機(jī)制，以及動態(tài)感知原理及使用; Hive數(shù)據(jù)倉庫的使用及調(diào)優(yōu)原理; HBase數(shù)據(jù)庫的開發(fā)、使用以及調(diào)優(yōu); Phoenix基本使用; Impala查詢使用; Kylin大數(shù)據(jù)的OLAP引擎; Flume數(shù)據(jù)遷移工具; Sqoop與DataX離線數(shù)據(jù)遷移工具及數(shù)據(jù)遷移測試; Kafka消息隊(duì)列; Oozie、Azkaban項(xiàng)目流程調(diào)度開發(fā)工具; Hue開源Hadoop UI系統(tǒng)；掌握Hue與各個大數(shù)據(jù)組件的搭配使用; 各個大數(shù)據(jù)組件在項(xiàng)目中的實(shí)戰(zhàn)使用;

04 Spark生態(tài)體系
Scala、Spark、交通領(lǐng)域汽車流量監(jiān)控項(xiàng)目、Flink

Scala多范式編程語言編寫程序； Spark大數(shù)據(jù)計(jì)算框架原理；Spark實(shí)時流處理技術(shù)；Spark大數(shù)據(jù)計(jì)算框架調(diào)優(yōu)； 要求能夠?qū)Σ煌瑯I(yè)務(wù)場景下Spark Core、Spark Streaming、Spark SQL的技術(shù)選型有足夠認(rèn)知，能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應(yīng)功能； Flink實(shí)時流處理技術(shù)；熟悉項(xiàng)目中應(yīng)用開發(fā)。

05 項(xiàng)目實(shí)戰(zhàn) 機(jī)器學(xué)習(xí)
高鐵智能檢測系統(tǒng)、電信充值、中國天氣網(wǎng)、機(jī)器學(xué)習(xí)

熟悉大數(shù)據(jù)開發(fā)基本流程和技術(shù)架構(gòu)； 熟悉機(jī)器學(xué)習(xí)算法理論基礎(chǔ)； 熟悉Python語言基礎(chǔ)及數(shù)據(jù)算法庫； 熟悉機(jī)器學(xué)習(xí)應(yīng)用場景； 熟悉Spark機(jī)器學(xué)習(xí)框架； 熟悉數(shù)據(jù)分析平臺開發(fā)全流程； 熟悉大數(shù)據(jù)推薦系統(tǒng)的開發(fā)全流程。