本次Hadoop培訓(xùn)內(nèi)容如下：

　　第一部分

　　第1個(gè)主題：Hadoop思考

　　1.Hadoop的設(shè)計(jì)目標(biāo)和適用場(chǎng)景

　　2.Hadoop架構(gòu)解析

　　3.MapReduce工作原理和案例說(shuō)明

　　第2個(gè)主題：Hadoop集群與管理

　　1、 Hadoop集群的搭建

　　2、 Hadoop集群的監(jiān)控

　　3、 Hadoop集群的管理

　　4、 集群下運(yùn)行MapReduce程序

　　第3主題：徹底掌握HDFS (具備修改HDFS具體源碼實(shí)現(xiàn)的能力)

　　1、HDFS體系架構(gòu)剖析

　　2、NameNode、DataNode、SecondaryNameNode架構(gòu)

　　3、保證NodeName高可靠性最佳實(shí)踐

　　4、DataNode中Block劃分的原理和具體存儲(chǔ)方式

　　5、修改Namenode、DataNode數(shù)據(jù)存儲(chǔ)位置

　　6、使用CLI操作HDFS

　　7、使用Java操作HDFS

　　第4主題：徹底掌握HDFS (具備修改HDFS具體源碼實(shí)現(xiàn)的能力)

　　1、RPC架構(gòu)剖析

　　2、源碼剖析Hadoop構(gòu)建于RPC之上

　　3、源碼剖析HDFS的RPC實(shí)現(xiàn)

　　4、源碼剖析客戶端與與NameNode的RPC通信

　　第5個(gè)主題：徹底掌握MapReduce(從代碼的角度剖析MapReduce執(zhí)行的具體過(guò)程并具備開發(fā)MapReduce代碼的能力)

　　1、MapReduce執(zhí)行的經(jīng)典步驟

　　2、wordcount運(yùn)行過(guò)程解析

　　3、Mapper和Reducer剖析

　　4、自定義Writable

　　5、新舊API的區(qū)別以及如何使用就API

　　6、把MapReduce程序打包成Jar包并在命令行運(yùn)行

　　第6個(gè)主題：徹底掌握MapReduce(具備掌握Hadoop如何把HDFS文件轉(zhuǎn)化為Key-Value讓供Map調(diào)用的能力)

　　1、 Hadoop是如何把HDFS文件轉(zhuǎn)化為鍵值對(duì)的?

　　2、 源碼剖析Hadoop讀取HDFS文件并轉(zhuǎn)化為鍵值對(duì)的過(guò)程實(shí)現(xiàn)

　　3、 源碼剖析轉(zhuǎn)化為鍵值對(duì)后供Map調(diào)用的過(guò)程實(shí)現(xiàn)

　　第7個(gè)主題：徹底掌握MapReduce(具備掌握MapReduce內(nèi)部運(yùn)行和實(shí)現(xiàn)細(xì)節(jié)并改造MapReduce的能力)

　　1、 Hadoop內(nèi)置計(jì)數(shù)器及如何自定義計(jì)數(shù)器

　　2、 Combiner具體的作用和使用以及其使用的限制條件

　　3、 Partitioner的使用最佳實(shí)踐

　　4、 Hadoop內(nèi)置的排序算法剖析

　　5、 自定義排序算法

　　6、 Hadoop內(nèi)置的分組算法

　　7、 自定義分組算法

　　8、 MapReduce常見場(chǎng)景和算法實(shí)現(xiàn)

　　第二部分

　　第1個(gè)主題：HBase架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)剖析

　　1、 HBase定義

　　2、 HBase與RDBMS的對(duì)比

　　3、 數(shù)據(jù)模型

　　4、 系統(tǒng)架構(gòu)

　　5、 HBase上的MapReduce

　　6、 表的設(shè)計(jì)

　　第2個(gè)主題：HBase集群及其管理

　　1、 集群的搭建過(guò)程講解

　　2、 集群的監(jiān)控

　　3、 集群的管理

　　第3個(gè)主題：HBase客戶端

　　1、 HBase Shell以及演示

　　2、 Java客戶端以及代碼演示

　　第4個(gè)主題：HBase案例實(shí)戰(zhàn)1---使用HBase實(shí)現(xiàn)微博系統(tǒng)

　　1. 項(xiàng)目架構(gòu)和設(shè)計(jì)

　　2. 開發(fā)環(huán)境搭建

　　3. 實(shí)現(xiàn)用戶登錄和注銷

　　4.“關(guān)注”功能的設(shè)計(jì)和實(shí)現(xiàn)

　　5.“發(fā)微博”功能的設(shè)計(jì)和實(shí)現(xiàn)

　　6.發(fā)布和運(yùn)行整個(gè)基于HBase的微博系統(tǒng)

　　第5個(gè)主題：HBase與MapReduce

　　1. HBase與MapReduce的關(guān)系

　　2. HBase如何使用MapReduce

　　第6個(gè)主題：HBase案例實(shí)戰(zhàn)2---話單查詢與統(tǒng)計(jì)

　　1. 項(xiàng)目架構(gòu)設(shè)計(jì)

　　2. 開發(fā)環(huán)境搭建

　　3. 話單入庫(kù)和查詢的設(shè)計(jì)與實(shí)現(xiàn)

　　4.統(tǒng)計(jì)功能的設(shè)計(jì)與實(shí)現(xiàn)

　　第7個(gè)主題：安裝和使用Hive

　　1. Hive剖析

　　2. 安裝Hive

　　3.Hive的基本使用

　　第8個(gè)主題：Hive與HDFS、MapReduce

　　1. Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)

　　2. 使用MySQL作為Hive的元數(shù)據(jù)庫(kù)

　　3.Hive與MapReduce

　　第三部分

　　第1個(gè)主題：Hive

　　1. Hive的Java擴(kuò)展開發(fā)

　　2. Hive UDF和UDAF開發(fā)

　　3. Hive常見場(chǎng)景，實(shí)戰(zhàn)練習(xí)

　　第2個(gè)主題：Hive案例實(shí)戰(zhàn)---數(shù)據(jù)統(tǒng)計(jì)

　　1. 項(xiàng)目架構(gòu)設(shè)計(jì)

　　2. 表結(jié)構(gòu)設(shè)計(jì)

　　3.數(shù)據(jù)的插入與統(tǒng)計(jì)實(shí)現(xiàn)

　　第3個(gè)主題：Sqoop

　　1. Sqoop原理

　　2. Sqoop使用詳解

　　3. 用Sqoop實(shí)現(xiàn)HDFS/Hive與關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)交互

　　4. 用Sqoop實(shí)現(xiàn)HBase與關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)交互

　　第4個(gè)主題：電商業(yè)日志流量分析項(xiàng)目

　　電商業(yè)日志流量分析項(xiàng)目，互聯(lián)網(wǎng)企業(yè)對(duì)海量日志的分析是Hadoop應(yīng)用的一個(gè)重要用途，也是對(duì)網(wǎng)站流量、客戶行為分析的重要途徑。該項(xiàng)目整合Hive、Hbase、Sqoop等常用組件，涉及從后臺(tái)處理到前臺(tái)呈現(xiàn)的每一個(gè)技術(shù)環(huán)節(jié)。包括：

　　1·業(yè)務(wù)需求介紹

　　2·數(shù)據(jù)建模

　　3·后臺(tái)算法設(shè)計(jì)

　　4·后臺(tái)業(yè)務(wù)處理

　　5·前臺(tái)WEB展示等

　　第5個(gè)主題：Hadoop開發(fā)者之路

　　1. Hadoop技能模型

　　2. Hadoop開發(fā)者最佳學(xué)習(xí)路線和方式

　　3.Hadoop開發(fā)者最佳成長(zhǎng)路線