Hadoop性能調(diào)優(yōu)培訓(xùn)
? Hadoop性能調(diào)優(yōu)培訓(xùn)
培訓(xùn)大綱
模塊
課程內(nèi)容
案例及實(shí)驗(yàn)
Hadoop參數(shù)調(diào)優(yōu)
l?選擇適合Hadoop的硬件配置
l?Hadoop配置項(xiàng)優(yōu)化
l?網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu)
l?選擇正確的JDK
l?Hadoop作業(yè)調(diào)優(yōu)
l?Linux操作系統(tǒng)優(yōu)化
l?其他配置和參數(shù)調(diào)優(yōu)
l?Hadoop硬件優(yōu)化
l?不是所有的硬件都合適拿來直接使用
l?硬件為什么不做raid？
l?設(shè)置網(wǎng)絡(luò)的注意事項(xiàng)
l?中間結(jié)果壓縮對磁盤和網(wǎng)絡(luò)的優(yōu)化
l?常見異?，F(xiàn)象及處理方法
Hive性能優(yōu)化
l?Hive參數(shù)優(yōu)化
l?Hive其他優(yōu)化
l?自有軟件Phphiveadmin的介紹及使用
l?對group，join的優(yōu)化
l?其他參數(shù)設(shè)計(jì)
l?設(shè)定并行執(zhí)行嵌套sql
l?為什么使用外部表和partition
l?Phphiveadmin帶來的優(yōu)勢和便利
精彩案例解析
案例一：那namenode?被重新格式化，datanode無法連接
案例二：硬盤損壞
案例三：錯誤用戶啟動hadoop
案例四：tasktracker重啟后假死
案例五：jobtracker無故宕機(jī)
HBASE調(diào)優(yōu)
l?HBase配置優(yōu)化綜述
l?讀優(yōu)化中需要調(diào)整的參數(shù)
l?寫優(yōu)化中需要調(diào)整的參數(shù)
l?Hbase-site.xml參數(shù)調(diào)優(yōu)
l?JVM優(yōu)化中需要調(diào)整的參數(shù)
l?Split?&?compact優(yōu)化相關(guān)參數(shù)
l?表設(shè)計(jì)優(yōu)化相關(guān)參數(shù)
l?Hbase客戶端優(yōu)化相關(guān)參數(shù)
l?監(jiān)控工具使用方法及注意事項(xiàng)
l?Memstore合并設(shè)置的時(shí)機(jī)選擇
l?Mslab使用設(shè)置
l?合并storefile策略設(shè)置技巧
l?Memstore??flush?設(shè)置時(shí)機(jī)選擇
l?Hbase-env.sh、Single、multi-thread、CMS使用及參數(shù)調(diào)用
l?GC回收垃圾時(shí)機(jī)、GC日志打印設(shè)置
l?GC階段，region無法提供服務(wù)如何如何處理
l?安裝、使用步驟、主要監(jiān)控參數(shù)，如何根據(jù)參數(shù)進(jìn)行調(diào)優(yōu)設(shè)置
精彩案例解析
案例1：hot??region造成讀請求瓶頸
現(xiàn)象：某臺機(jī)器的某個(gè)region讀請求非常頻繁，大量讀請求集中在一臺機(jī)器的某個(gè)region會造成該機(jī)器的壓力陡增，JVM內(nèi)存居高不下，load很高，使得client讀取數(shù)據(jù)上達(dá)到瓶頸值。
Mapreduce的性能調(diào)優(yōu)
Mapreduce中需要調(diào)優(yōu)的相關(guān)參數(shù)
??Dfs.block.size
??Mapreduce
??Io.sort.mb
??Io.sort.spill.percent
??Mapred.local.dir
??Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
??Mapred.reduce.?tasksmapred.?Sktracker.reduce.tasks.?sktracker
l?Map中選擇合理的塊大小
l?Reduce并行復(fù)制線程的調(diào)優(yōu)
l?Map/reduce內(nèi)存配置的原則及方法
l?槽位數(shù)計(jì)算方法
l?調(diào)度器的選擇集調(diào)優(yōu)
精彩案例解析
案例1：控制map?&?reduce個(gè)數(shù)
現(xiàn)象：map個(gè)數(shù)取決于split個(gè)數(shù)，如果源文件使用壓縮存儲，則不可分割，一個(gè)文件一個(gè)map。非壓縮文件使用默認(rèn)block.size進(jìn)行切分。對reduce因?yàn)槭侵虚g數(shù)據(jù)，可以控制reduce數(shù)量。