大數(shù)據(jù)處理與優(yōu)化最佳實(shí)踐培訓(xùn)
? 大數(shù)據(jù)處理與優(yōu)化最佳實(shí)踐培訓(xùn)
課程安排
?
?
主題
內(nèi)容見要
第一部分
海量數(shù)據(jù)處理系統(tǒng)
的架構(gòu)設(shè)計(jì)
這個(gè)部分主要講解海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)，針對(duì)海量數(shù)據(jù)的問題設(shè)計(jì)海量數(shù)據(jù)的架構(gòu)解決方案。
???海量數(shù)據(jù)處理的系統(tǒng)場(chǎng)景
???大數(shù)據(jù)時(shí)代的數(shù)據(jù)架構(gòu)解決方案
???海量數(shù)據(jù)處理的架構(gòu)匯總
???8種海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)比較
???分布式系統(tǒng)架構(gòu)的海量數(shù)據(jù)處理設(shè)計(jì)
???海量數(shù)據(jù)處理設(shè)計(jì)
典型案例分析：
NoSQL的實(shí)踐應(yīng)用
??????? NoSQL綜述解決的實(shí)際問題
??????? 關(guān)系數(shù)據(jù)庫暴露的問題
n??High?performance并發(fā)要求
n??Huge?Storage的存取
n??High?Scalability的服務(wù)器分布要求
n??High?Availability的服務(wù)器健壯要求
??????? 關(guān)系型數(shù)據(jù)庫失效的場(chǎng)景
??????? NoSQL與關(guān)系型數(shù)據(jù)庫設(shè)計(jì)理念比較
??????? NoSQL設(shè)計(jì)模型分析
n??K-V模型的Column設(shè)計(jì)
n??Document模型的B?Tree設(shè)計(jì)
n??Object模型的基于Object數(shù)據(jù)訪問設(shè)計(jì)
??????? NoSQL實(shí)例分析
n??Apache?Hbase架構(gòu)解析
n??Facebook?Cassandra架構(gòu)解析
n??Google?BigTable架構(gòu)解析
典型案例分析：
進(jìn)入Hadoop的精彩世界
??????? 文件存儲(chǔ)-HDFS
??????? HDFS-工作原理
??????? 數(shù)據(jù)計(jì)算MapReduce
??????? MapReduce工作原理
??????? SQL分析-Hive
??????? 海量實(shí)時(shí)讀寫-HBase
??????? 工作流調(diào)度-Ooize
??????? 分布式協(xié)調(diào)系統(tǒng)—Zookeeper
第二部分
Hadoop部署與編程
??????? Hadoop版本介紹與選擇
??????? Hadoop部署實(shí)踐
??????? Hadoop安裝文件構(gòu)成與配置體系
??????? 機(jī)器硬件建議配置
??????? 系統(tǒng)環(huán)境配置
??????? 基本參數(shù)配置與說明
??????? 進(jìn)程分布規(guī)劃與啟動(dòng)
??????? Hadoop基本使用操作
??????? HDFS
??????? 權(quán)限
??????? MapReduce
??????? HDFS編程
??????? 開發(fā)環(huán)境準(zhǔn)備
??????? 讀文件
??????? 寫文件
??????? Hadoop系統(tǒng)容災(zāi)策略
??????? Hadoop資源調(diào)度策略
??????? Hadoop安全
??????? Hadoop系統(tǒng)監(jiān)控與報(bào)警策略
Hive架構(gòu)及實(shí)踐案例沙盤演練
??????? Hive系統(tǒng)部署與搭建
??????? Hive工作機(jī)制
??????? 基于Hive的網(wǎng)站日志分析示例
??????? Hive的用戶自定義函數(shù)開發(fā)
??????? Hive底層數(shù)據(jù)文件與數(shù)據(jù)壓縮選擇
n??gzip
n??bz2
n??lzo
n??rcfile
??????? Hive運(yùn)行參數(shù)調(diào)優(yōu)
??????? Hive程序編寫性能建議
n??MapJoin
n??數(shù)據(jù)傾斜
n??Join順序
n??UDF編寫注意事項(xiàng)
n??快速獲取結(jié)果TopN
??????? 通過Explain觀察Hive行為
??????? 典型案例分析
第三部分
Hadoop集群架構(gòu)搭建及實(shí)踐案例沙盤演練
??????? Hadoop集群架構(gòu)搭建方法
??????? Hadoop集群架構(gòu)性能管理
??????? HDFS，NameNode，DataNode的調(diào)優(yōu)和節(jié)點(diǎn)擴(kuò)展最佳實(shí)踐
??????? 主要調(diào)優(yōu)工具和性能監(jiān)控工具
??????? Hadoop集群對(duì)于硬件的要求和選型
??????? Hadoop集群中對(duì)硬件、操作系統(tǒng)的調(diào)優(yōu)方法
??????? 實(shí)際案例分析
??????? 基于Hadoop的集群解決方案
??????? 典型案例分析：
MapReduce架構(gòu)及實(shí)踐案例沙盤演練
??????? MapReduce剖析
n??MapReduce的原理和運(yùn)行過程
n??構(gòu)建MapReduce的開發(fā)環(huán)境
??????? MapReduce案例實(shí)戰(zhàn)
n??使用MapReduce的Java接口實(shí)現(xiàn)經(jīng)典的WordCount
n??wordcount運(yùn)行過程解析
n??MapReduce實(shí)現(xiàn)數(shù)據(jù)去重操作
n??MapReduce實(shí)現(xiàn)數(shù)據(jù)排序
n??MapReduce實(shí)現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計(jì)算
??????? 典型案例分析：
HBase架構(gòu)及實(shí)踐案例沙盤演練
??????? 為什么實(shí)用Hadoop/HBase
??????? Hadoop的架構(gòu)體系與HBase的應(yīng)用關(guān)系
??????? HBase的核心設(shè)計(jì)機(jī)制
??????? HBase的使用場(chǎng)景？什么情況下使用HBase，為什么使用HBase，HBase使用帶來的實(shí)踐價(jià)值
??????? 關(guān)系型數(shù)據(jù)庫與HBase
??????? HBase的Client端
??????? HBase架構(gòu)分析
??????? 基于HBase項(xiàng)目架構(gòu)設(shè)計(jì)
??????? HBase開發(fā)環(huán)境搭建
??????? 入庫和查詢的設(shè)計(jì)與實(shí)現(xiàn)
??????? 統(tǒng)計(jì)功能的設(shè)計(jì)與實(shí)現(xiàn)
??????? 案例演練HBase的主體特性
n??Features:Scalability實(shí)現(xiàn)
n??HBaseFeatures:Column-Oriented實(shí)現(xiàn)
n??High?Performance?Random?R/W實(shí)現(xiàn)
n??HBase?Features:?Scan?Search實(shí)現(xiàn)
n??HBase?Features:?High‐Availability實(shí)現(xiàn)
典型案例分析：