 班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(xué)(滬西)/新城金郡商務(wù)樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實驗設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費推薦工作
★實驗設(shè)備請點擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費推薦就業(yè)機會。 |
課程大綱 |
一、 課程背景概述
大數(shù)據(jù)分析處理平臺技術(shù)已經(jīng)給新興互聯(lián)網(wǎng)企業(yè)（如電子商務(wù)網(wǎng)站、搜索引擎、社交網(wǎng)站、互聯(lián)網(wǎng)廣告服務(wù)提供商等）、銀行金融證券企業(yè)、電信運營商行業(yè)、高端裝備制造企業(yè)、IT基礎(chǔ)設(shè)施提供商等帶來了巨大的商業(yè)機遇，大數(shù)據(jù)平臺在整個企業(yè)的價值增值鏈中發(fā)揮著至關(guān)重要的決定性作用。互聯(lián)網(wǎng)+大數(shù)據(jù)時代的到來，一方面為企業(yè)帶來了潛在的巨大發(fā)展機遇，能有效推動企業(yè)的信息化轉(zhuǎn)型升級和科學(xué)決策分析；另一方面由于企業(yè)缺乏大數(shù)據(jù)技術(shù)專業(yè)人才和大數(shù)據(jù)平臺建設(shè)實施經(jīng)驗，對企業(yè)實行大數(shù)據(jù)發(fā)展戰(zhàn)略也帶來了較大的挑戰(zhàn)。本次課程帶大家領(lǐng)略大數(shù)據(jù)分析應(yīng)用技術(shù)的魅力和廣闊前景，系統(tǒng)地講解基于Hadoop和Spark處理平臺的大數(shù)據(jù)分析算法，以及分布式并行分析處理技術(shù)的應(yīng)用實踐，業(yè)界主流的大數(shù)據(jù)分析處理平臺、核心組件、關(guān)鍵技術(shù)、平臺架構(gòu)、大數(shù)據(jù)分析應(yīng)用解決方案以及案例集錦。結(jié)合業(yè)界使用最廣泛的主流大數(shù)據(jù)平臺技術(shù)，重點剖析基于Hadoop和Spark大數(shù)據(jù)技術(shù)生態(tài)圈的大數(shù)據(jù)分析處理技術(shù)，大型數(shù)據(jù)倉庫平臺（HIVE）的技術(shù)架構(gòu)和分析應(yīng)用、大數(shù)據(jù)分析挖掘處理平臺（Mahout，MLib）的分析算法應(yīng)用與實戰(zhàn)，基于ELK架構(gòu)的大規(guī)模日志數(shù)據(jù)的分析處理以及用戶行為分析處理和電商數(shù)據(jù)挖掘推薦系統(tǒng)項目應(yīng)用案例。
通過本次課程培訓(xùn)讓學(xué)員掌握基于主流的Hadoop與Spark大數(shù)據(jù)平臺的數(shù)據(jù)分析技術(shù)，以及大數(shù)據(jù)分析項目的有效實施，培訓(xùn)過程中穿插著已經(jīng)落地的成功大數(shù)據(jù)分析項目實施應(yīng)用案例，分享互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)分析應(yīng)用的項目經(jīng)驗，讓學(xué)員掌握如何構(gòu)建可行的大數(shù)據(jù)分析挖掘處理平臺解決方案。
二、 授課人群
1. 集團(tuán)企業(yè)大數(shù)據(jù)處理平臺技術(shù)架構(gòu)師
2. 集團(tuán)企業(yè)大數(shù)據(jù)分析項目工程師
3. 集團(tuán)企業(yè)數(shù)據(jù)倉庫工程師
三、 培訓(xùn)目標(biāo)
本課程通過培訓(xùn)使學(xué)習(xí)者達(dá)到如下目標(biāo)：
1. 本課程讓學(xué)員充分掌握大數(shù)據(jù)分析處理平臺技術(shù)架構(gòu)、業(yè)界常用的大數(shù)據(jù)分析挖掘算法、大數(shù)據(jù)分析應(yīng)用實戰(zhàn)技能、國內(nèi)外主流的大數(shù)據(jù)分析處理技術(shù)在不同行業(yè)的解決方案，并以銀行金融業(yè)、電商行業(yè)、互聯(lián)網(wǎng)精準(zhǔn)營銷行業(yè)的為例子闡述大數(shù)據(jù)分析算法及其技術(shù)平臺的實際應(yīng)用案例，以及對比剖析主流的大數(shù)據(jù)分析產(chǎn)品。
2. 讓學(xué)員掌握基于主流的大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的大數(shù)據(jù)分析處理平臺的技術(shù)架構(gòu)和實際分析挖掘處理應(yīng)用，并用結(jié)合實際的信息化業(yè)務(wù)系統(tǒng)案例進(jìn)行教學(xué)，講解利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進(jìn)行存儲管理和分析挖掘的技術(shù)應(yīng)用，掌握基于Hadoop大數(shù)據(jù)平臺的并行挖掘處理技術(shù)和數(shù)據(jù)倉庫應(yīng)用。深入講解包括大數(shù)據(jù)ETL處理、大數(shù)據(jù)倉庫HIVE、大數(shù)據(jù)分布式并行挖掘處理平臺Mahout，基于Spark內(nèi)存計算的實時挖掘處理平臺MLib， 互聯(lián)網(wǎng)行業(yè)常用的ELK（ElasticSearch，Logstash，Kibana）日志分析系統(tǒng)解決方案，以及電商數(shù)據(jù)挖掘與推薦系統(tǒng)Oryx，并基于這些平臺展開大數(shù)據(jù)分析挖掘與精準(zhǔn)推薦處理平臺在金融行業(yè)的實踐應(yīng)用。
3. 本課程采用技術(shù)原理與項目實戰(zhàn)相結(jié)合的方式進(jìn)行教學(xué)，在講授原理的過程中，穿插實際的系統(tǒng)操作，本課程講師也精心準(zhǔn)備的實際的應(yīng)用案例供學(xué)員動手訓(xùn)練。
四、培訓(xùn)特色
定制授課+ 實戰(zhàn)案例訓(xùn)練+ 互動咨詢討論，共1天，6課時.
五、詳細(xì)大綱（講解和實驗各占一半時間）
（注明：本次培訓(xùn)使用的基礎(chǔ)軟件，包括Linux操作系統(tǒng)，Hadoop集群軟件和Spark集群軟件，講師在課前一周會公布講義資料和實驗平臺，請學(xué)員自備筆記本，參考配置CPU在i5及以上，內(nèi)存4GB及以上，硬盤可用存儲空間40GB及以上）
時間 授課內(nèi)容 動手實驗安排
第一天 1. 大型數(shù)據(jù)倉庫HIVE集群平臺的應(yīng)用案例，Hive文件與記錄存儲格式、Hive大數(shù)據(jù)統(tǒng)計分析技術(shù)、Hive功能操作實踐，以及云計算數(shù)據(jù)中心的Hive大型數(shù)據(jù)倉庫集群在電商數(shù)據(jù)、搜索引擎、日志分析、用戶行為分析、客戶分析，以及互聯(lián)網(wǎng)金融數(shù)據(jù)分析中的案例剖析
2. 大數(shù)據(jù)分析的數(shù)據(jù)整理、數(shù)據(jù)集成、數(shù)據(jù)抽取、轉(zhuǎn)換、加載，ETL工具平臺的應(yīng)用實踐與案例分享
3. 在互聯(lián)網(wǎng)電商平臺、互聯(lián)網(wǎng)金融平臺中針對用戶行為分析、客戶分析、個性化推薦、廣告精準(zhǔn)投放、產(chǎn)品營銷應(yīng)用場景下常用的數(shù)據(jù)建模方法、建模過程、匹配算法、并行數(shù)據(jù)挖掘算法、原理、以及技術(shù)應(yīng)用。
4. 基于大數(shù)據(jù)集的機器學(xué)習(xí)算法，以及大數(shù)據(jù)的分類挖掘算法、聚類挖掘、統(tǒng)計學(xué)習(xí)、關(guān)聯(lián)分析挖掘和鏈接分析挖掘算法與技術(shù)在電商個性化推薦營銷和銀行客戶分析中的實踐應(yīng)用
5. 業(yè)界常用的數(shù)據(jù)挖掘與分析算法及其應(yīng)用實踐，重點講解七大類算法的實現(xiàn)技術(shù)與應(yīng)用實踐：分類算法、聚類算法、關(guān)聯(lián)規(guī)則挖掘算法、回歸算法、進(jìn)化算法、協(xié)同過濾與推薦算法。
6. 針對互聯(lián)網(wǎng)金融、網(wǎng)絡(luò)銀行和電商等不同業(yè)務(wù)場景的數(shù)據(jù)分析需求，講解決策樹分類（C4.5）挖掘、K均值聚類（K-means）挖掘、支持向量機分類（SVM）挖掘、關(guān)聯(lián)規(guī)則挖掘（Apriori）、最大期望（EM）挖掘、鏈接分析（PageRank）挖掘、集成（AdaBoost）挖掘、K近鄰（KNN）分類挖掘、貝葉斯分類（Na?ve Bayes）挖掘、分類和回歸（CART）挖掘算法、基于Item的協(xié)同過濾算法和基于用戶的協(xié)同過濾算法的基本原理、應(yīng)用場景、實現(xiàn)技術(shù)、以及面向問題解析的組合挖掘構(gòu)造方法，并結(jié)合業(yè)務(wù)需求剖析算法應(yīng)用以及大數(shù)據(jù)挖掘中間件系統(tǒng)。
7. 基于Hadoop平臺的分布式并行數(shù)據(jù)挖掘平臺Mahout的系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)、核心組件的工作原理、安裝部署、配置調(diào)優(yōu)、二次應(yīng)用開發(fā)實踐，Mahout大數(shù)據(jù)協(xié)同過濾分析、頻繁模式挖掘分析、聚類分析、分類分析、推薦分析應(yīng)用的實現(xiàn)方式，以及Hadoop+Mahout大數(shù)據(jù)挖掘平臺的應(yīng)用實踐案例，分別在電商日志分析、電商平臺商品推薦、電商平臺用戶推薦、金融與銀行理財產(chǎn)品的客戶流失預(yù)測、客戶分類分級挖掘、客戶屬性關(guān)聯(lián)挖掘業(yè)務(wù)中的應(yīng)用。
8. 互聯(lián)網(wǎng)用戶行為分析實踐案例，對客戶進(jìn)行360°刻畫，客戶分類分析，精準(zhǔn)廣告營銷定位分析的實訓(xùn)案例。銀行信用卡客戶的分類分析，以及客戶流失預(yù)測分析，消費行為分析的實踐案例
9. Spark大數(shù)據(jù)實時處理平臺的系統(tǒng)集群架構(gòu)、關(guān)鍵技術(shù)、核心組件的工作原理，Spark分布式集群的安裝部署、配置調(diào)優(yōu)、Spark SQL和MLib的算法應(yīng)用示例，及其在電商與支付平臺和運營日志中的應(yīng)用實踐案例。
10. ELK（Elasticsearch ，Logstash，Kibana）分布式日志分析挖掘平臺的系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)和核心組件剖析，它在電商、互聯(lián)網(wǎng)金融平臺和第三方支付平臺，銀行應(yīng)用中的客戶行為分析挖掘與分析處理，預(yù)測客戶的興趣、愛好、產(chǎn)品關(guān)聯(lián)性、情感、推薦標(biāo)簽以及預(yù)測其在線消費決策，并剖析講解客戶個性化營銷的技術(shù)解決方案。
11. 基于大數(shù)據(jù)的推薦系統(tǒng)Oryx平臺的技術(shù)架構(gòu)、關(guān)鍵技術(shù)和核心算法組件，以及Oryx分布式集群在個性化推薦、精準(zhǔn)營銷、精準(zhǔn)廣告投放領(lǐng)域中的實戰(zhàn)應(yīng)用，以及解決方案實施。
12. 針對當(dāng)前業(yè)務(wù)工作中遇到的大數(shù)據(jù)分析的需求、難點、痛點、瓶頸，以及解決之道，課堂討論預(yù)計可行的項目方案。講解某大型銀行的數(shù)據(jù)倉庫與分析系統(tǒng)架構(gòu)，業(yè)務(wù)數(shù)據(jù)分析和數(shù)據(jù)統(tǒng)計分析與自動化報表的項目實施案例。
13. 基于真實的互聯(lián)網(wǎng)數(shù)據(jù)和實驗指導(dǎo)手冊在講師的引導(dǎo)下完成實際的項目案例，鞏固學(xué)過的大數(shù)據(jù)分析挖掘處理平臺技術(shù)知識以及應(yīng)用技能 1. VMware環(huán)境下部署配置CentOS虛擬機集群模擬真實的物理集群
2. 在CentOS虛擬集群上部署Hadoop平臺以及配置操作
3. 配置部署HIVE數(shù)據(jù)倉庫集群，以及性能調(diào)優(yōu)實戰(zhàn)
4. 基于HIVE的大型數(shù)據(jù)倉庫的解決方案
5. 數(shù)據(jù)挖掘算法程序的實現(xiàn)與運行，并以用戶行為日志數(shù)據(jù)集為實驗素材，基于Hadoop處理平臺利用不同的算法對用戶進(jìn)行分類、聚類以及推薦等實驗操作，并得出相應(yīng)的結(jié)果
6. Mahout分布式并行挖掘平臺的實戰(zhàn)解決方案
7. 基于Spark與MLib的實時分析分析處理平臺的實戰(zhàn)解決方案，集群的部署、配置，分析算法的運行調(diào)優(yōu)
8. 運行Mahout和MLib中的每一類算法中的不同算法實現(xiàn)，并比較不同分析挖掘結(jié)果，掌握各個分析場景下的算法組合優(yōu)化
9. ELK日志分析與挖掘系統(tǒng)的實戰(zhàn)解決方案，基于真實日志數(shù)據(jù)集進(jìn)行分析
10. Oryx大數(shù)據(jù)推薦系統(tǒng)的實戰(zhàn)解決方案
11. 基于實驗部署的VMware虛擬化集群管理軟件，以及Hadoop + HBase + ELK + HIVE + Mahout + Storm + Spark的大數(shù)據(jù)分析挖掘處理平臺集成解決方案的應(yīng)用實踐案例分享
12. 基于講解過的大數(shù)據(jù)分析挖掘平臺集成解決方案，設(shè)計實現(xiàn)一個真實的融合用戶歷史行為的數(shù)據(jù)搜索系統(tǒng)，日志分析與電商推薦系統(tǒng)應(yīng)用案例。
13. 互聯(lián)網(wǎng)電商和銀行金融業(yè)的客戶分析、支付分析、產(chǎn)品推薦分析、用戶行為分析、交易分析、預(yù)測分析的應(yīng)用解決方案。 |
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業(yè)
