大數(shù)據(jù)處理技術(shù)—基于Hadoop的實戰(zhàn)課程培訓(xùn)
培訓(xùn)內(nèi)容：
本課程從大數(shù)據(jù)技術(shù)以及Hadoop實戰(zhàn)的角度，結(jié)合理論和實踐，全方位地介紹Hadoop這一高性能處理大數(shù)據(jù)工具的開發(fā)技巧。本課程涉及的主題包括：Hadoop分布式文件系統(tǒng)及Hadoop的I/O；MapReduce的的工作機(jī)制、類型和格式；如何構(gòu)建和管理Hadoop集群；Pig?Latin語言的使用技巧；Hive數(shù)據(jù)倉庫工具介紹；HBase和Zookeeper工具的使用和管理
；開源數(shù)據(jù)采集工具sqoop。????
? 教學(xué)過程中提供案例分析幫助學(xué)員了解如何用Hadoop系列工具來解決具體的問題，并介紹從大數(shù)據(jù)中挖掘出有價值的信息的關(guān)鍵技術(shù)。本課程是一個針對問題討論解決方案的深入課程。教師對于上述領(lǐng)域有深入的理論研究與實踐經(jīng)驗，在課程中將會針對這些問題與學(xué)員一起進(jìn)行研究，在關(guān)鍵點上還會搭建實驗環(huán)境進(jìn)行實踐研究，以加深對于這些解決方案的理解。?
培訓(xùn)目標(biāo)?
1,?全面了解大數(shù)據(jù)處理技術(shù)的相關(guān)知識。?
2，學(xué)習(xí)Hadoop的核心技術(shù)方法以及應(yīng)用特征。?
3，深入使用Hadoop相關(guān)工具在大數(shù)據(jù)中的使用。??
4，掌握傳統(tǒng)數(shù)據(jù)中心向云計算中心轉(zhuǎn)換的關(guān)鍵技術(shù)。?
課程大綱
???? 第一講?云計算及大數(shù)據(jù)處理技術(shù)介紹
1）云計算的概念
2）云計算發(fā)展現(xiàn)狀
3）大數(shù)據(jù)的概念
4）大數(shù)據(jù)的應(yīng)用
5）大數(shù)據(jù)關(guān)鍵技術(shù)第二講?Google中的關(guān)鍵技術(shù)
1）GFS文件系統(tǒng)?
2）Chubby中的Paxos算法
3）MapReduce技術(shù)機(jī)制?
4）Bigtable表管理技術(shù)?第三講?Hadoop文件系統(tǒng)HDFS及其文件結(jié)構(gòu)
1）?Hadoop項目簡介
2）?HDFS體系結(jié)構(gòu)
3）?HDFS關(guān)鍵運(yùn)行機(jī)制
4）?Hadoop?vs?Google
5）?Hadoop?API????第四講?MapReduce編程模型及其應(yīng)用開發(fā)
1)MapReduce產(chǎn)生背景?
2)MapReduce編程模型?
3)MapReduce實現(xiàn)機(jī)制?
4)MapReduce案例分析?第五講?Pig?Latin及其使用
1）Pig?設(shè)計的目標(biāo)
2）Pig?Latine介紹?
3）Pig關(guān)鍵性技術(shù)
4）Pig的實用案例第六講?數(shù)據(jù)倉庫Hive使用
1)Hive設(shè)計目標(biāo)
2)Hive數(shù)據(jù)模型?
3)Hive關(guān)鍵性技術(shù)?
4)Hive的使用案例第七講?HBase和ZooKeeper使用
1）?Hbase運(yùn)行機(jī)制簡介
2）?HBase與?HDFS
3）?HBase的對外接口
4）?ZooKeeper的數(shù)據(jù)模型
5）?ZooKeeper的讀寫機(jī)制
6）?ZooKeeper的使用方法第八講?數(shù)據(jù)抽取工具Sqoop使用
1）數(shù)據(jù)抽取技術(shù)介紹
2）Sqoop中的關(guān)鍵技術(shù)
3）Sqoop數(shù)據(jù)抽取策略
4）數(shù)據(jù)挖掘及分析第九講?當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析
1）主流商業(yè)大數(shù)據(jù)解決方案比較?
2）主流開源云計算系統(tǒng)比較??
3）國內(nèi)代表性大數(shù)據(jù)平臺比較??第十講?各廠商最新的大數(shù)據(jù)產(chǎn)品介紹
1）IBM的大數(shù)據(jù)技術(shù)
2）HP的大數(shù)據(jù)技術(shù)
3）Teradata的大數(shù)據(jù)技術(shù)
4）其它廠商的大數(shù)據(jù)處理
課程對象
1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。?
2，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計負(fù)責(zé)人。?
3，政府機(jī)關(guān)，金融保險、移動和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負(fù)責(zé)人。?
4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項目負(fù)責(zé)人。?學(xué)員基礎(chǔ)?
5，對IT系統(tǒng)設(shè)計有一定的理論與實踐經(jīng)驗。?
6，有一定的數(shù)據(jù)倉庫與大數(shù)據(jù)處理的基礎(chǔ)知識