
“大數(shù)據(jù)建模與分析挖掘應用”實戰(zhàn)培訓
業(yè)界主流的數(shù)據(jù)倉庫工具和大數(shù)據(jù)分析挖掘工具
1.業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項目解決方案
2.業(yè)界數(shù)據(jù)倉庫與數(shù)據(jù)分析挖掘平臺軟件工具
3.Hadoop數(shù)據(jù)倉庫工具Hive
4.Spark實時數(shù)據(jù)倉庫工具SparkSQL
5.Hadoop數(shù)據(jù)分析挖掘工具Mahout
6.Spark機器學習與數(shù)據(jù)分析挖掘工具MLlib
7.大數(shù)據(jù)分析挖掘項目的實施步驟
實踐訓練
配置數(shù)據(jù)倉庫工具Hadoop Hive和SparkSQL
部署數(shù)據(jù)分析挖掘工具Hadoop Mahout和Spark MLlib
大數(shù)據(jù)分析挖掘項目的數(shù)據(jù)集成操作訓練
1.日志數(shù)據(jù)解析和導入導出到數(shù)據(jù)倉庫的操作訓練
2.從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù),整理后形成規(guī)范的數(shù)據(jù)倉庫
3.數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉庫中訪問數(shù)據(jù),一個數(shù)據(jù)倉庫面向一個主題,構建兩個數(shù)據(jù)倉庫
4.同一個數(shù)據(jù)倉庫中的事實表數(shù)據(jù),可以給多個不同類型的分析挖掘任務調用
5.去除噪聲
實踐訓練
項目數(shù)據(jù)集加載ETL到Hadoop Hive數(shù)據(jù)倉庫并建立多維模型
基于Hadoop的大型數(shù)據(jù)倉庫管理平臺—HIVE數(shù)據(jù)倉庫集群的多維分析建模應用實踐
6.基于Hadoop的大型分布式數(shù)據(jù)倉庫在行業(yè)中的數(shù)據(jù)倉庫應用案例
7.Hive數(shù)據(jù)倉庫集群的平臺體系結構、核心技術剖析
8.Hive Server的工作原理、機制與應用
9.Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化
10.Hive應用開發(fā)技巧
11.Hive SQL剖析與應用實踐
12.Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導入導出、客戶端操作技巧
13.Hive數(shù)據(jù)倉庫報表設計
14.將原始的日志數(shù)據(jù)集,經(jīng)過整理后,加載至Hadoop + Hive數(shù)據(jù)倉庫集群中,用于共享訪問
實踐訓練
利用HIVE構建大型數(shù)據(jù)倉庫項目的操作訓練實踐
Spark大數(shù)據(jù)分析挖掘平臺實踐操作訓練
15.Spark大數(shù)據(jù)分析挖掘平臺的部署配置
16.Spark數(shù)據(jù)分析庫MLlib的開發(fā)部署
17.Spark數(shù)據(jù)分析挖掘示例操作,從Hive表中讀取數(shù)據(jù)并在分布式內存中運行
聚類分析建模與挖掘算法的實現(xiàn)原理和技術應用
18.聚類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應用,包括:
a)Canopy聚類(canopy clustering)
b)K均值算法(K-means clustering)
c)模糊K均值(Fuzzy K-means clustering)
d)EM聚類,即期望大化聚類(Expectation Maximization)
e)以上算法在Spark MLib中的實現(xiàn)原理和實際場景中的應用案例。
19.Spark聚類分析算法程序示例
實踐訓練
基于Spark MLlib的聚類分析算法,實現(xiàn)日志數(shù)據(jù)集中的用戶聚類
分類分析建模與挖掘算法的實現(xiàn)原理和技術應用
20.分類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應用, 包括:
f)Spark決策樹算法實現(xiàn)
g)邏輯回歸算法(logistics regression)
h)貝葉斯算法(Bayesian與Cbeyes)
i)支持向量機(Support vector machine)
j)以上算法在Spark MLlib中的實現(xiàn)原理和實際場景中的應用案例。
21.Spark客戶資料分析與給用戶貼標簽的程序示例
22.Spark實現(xiàn)給商品貼標簽的程序示例
23.Spark實現(xiàn)用戶行為的自動標簽和深度技術
實踐訓練
基于Spark MLlib的分類分析算法模型與應用操作
關聯(lián)分析建模與挖掘算法的實現(xiàn)原理和技術應用
24.預測、推薦分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應用,包括:
k)Spark頻繁模式挖掘算法(parallel FP Growth Algorithm)應用
l)Spark關聯(lián)規(guī)則挖掘(Apriori)算法及其應用
m)以上算法在Spark MLib中的實現(xiàn)原理和實際場景中的應用案例。
25.Spark關聯(lián)分析程序示例
實踐訓練
基于Spark MLlib的關聯(lián)分析操作
推薦分析挖掘模型與算法技術應用
26.推薦算法原理及其在Spark MLlib中的實現(xiàn)與應用,包括:
a)Spark協(xié)同過濾算法程序示例
b)Item-based協(xié)同過濾與推薦
c)User-based協(xié)同過濾與推薦
d)交叉銷售推薦模型及其實現(xiàn)
實踐訓練
推薦分析實現(xiàn)步驟與操作
回歸分析模型與預測算法
27.利用線性回歸(多元回歸)實現(xiàn)訪問量預測
28.利用非線性回歸預測成交量和訪問量的關系
29.基于R+Spark實現(xiàn)回歸分析模型及其應用操作
30.Spark回歸程序實現(xiàn)異常點檢測的程序示例
實踐訓練
回歸分析預測操作例子
圖關系建模與分析挖掘及其鏈接分析和社交分析操作
31.利用Spark GraphX實現(xiàn)網(wǎng)頁鏈接分析,計算網(wǎng)頁重要性排名
32.實現(xiàn)信息傳播的社交關系傳遞分析,互聯(lián)網(wǎng)用戶的行為關系分析任務的操作訓練
實踐訓練
圖數(shù)據(jù)的分析挖掘操作,實現(xiàn)微博數(shù)據(jù)集的社交網(wǎng)絡建模與關系分析
神經(jīng)網(wǎng)絡與深度學習算法模型及其應用實踐
33.神經(jīng)網(wǎng)絡算法Neural Network的實現(xiàn)方法和挖掘模型應用
34.基于人工神經(jīng)網(wǎng)絡的深度學習的訓練過程
a)傳統(tǒng)神經(jīng)網(wǎng)絡的訓練方法
b)Deep Learning的訓練方法
35.深度學習的常用模型和方法
a)CNN(Convolutional Neural Network)卷積神經(jīng)網(wǎng)絡
b)RNN(Recurrent Neural Network)循環(huán)神經(jīng)網(wǎng)絡模型
c)Restricted Boltzmann Machine(RBM)限制波爾茲曼機
36.基于Spark的深度學習算法模型庫的應用程序示例
實踐訓練
基于Spark或TensorFlow神經(jīng)網(wǎng)絡深度學習庫實現(xiàn)文本與圖片數(shù)據(jù)挖掘