分布式課程培訓(xùn)
?
分布式課程培訓(xùn)
本培訓(xùn)課程針對(duì)有一定編程基礎(chǔ)的學(xué)員:了解Linux,熟悉Java編程。
通過本次課程,學(xué)員能夠了解主流的分布式處理方案以及實(shí)際的實(shí)用案例,并能夠根據(jù)自己的業(yè)務(wù)需要采用相應(yīng)的方案解決實(shí)際的問題。
課程大綱:
內(nèi)容
AM
分布式解決方案介紹
Hadoop?Ecosystem與實(shí)際應(yīng)用案例
-?分布式存儲(chǔ)系統(tǒng):HDFS
-?分布式計(jì)算系統(tǒng):MapReduce
-?海量數(shù)據(jù)分析系統(tǒng):Hive
-?分布式協(xié)調(diào)系統(tǒng):Zookeeper
-?分布式實(shí)時(shí)讀寫數(shù)據(jù)存儲(chǔ)系統(tǒng):HBase
-?工作流調(diào)度系統(tǒng):Ooize
NoSQL與實(shí)際應(yīng)用案例
-?NoSQL與SQL的關(guān)系
-?NoSQL適合的場(chǎng)景?
-?面向列的存儲(chǔ):Cassandra
-?文檔數(shù)據(jù)庫:MongoDB
-?優(yōu)點(diǎn)?
-?不足?
-?圖數(shù)據(jù)庫:Neo4j
PM
海量數(shù)據(jù)分析技術(shù)-MAPREDUCE
Map?Reduce編程詳解
-?map函數(shù)
-?reduce函數(shù)
-?排序與分區(qū)
跨語言MR框架:Streaming
-?原理
-?實(shí)際應(yīng)用
Hadoop文件壓縮
-?gzip
-?bz2
-?lzo
Hadoop文件格式
-?TextFile
-?SequenceFile
-?RCFile
輸入格式
-?TextInputFormat
-?SequenceFileInputFormat
-?RCFileInputFormat
輸出格式
-?TextOutputFormat
-?SequenceFileOutputFormat
-?RCFileOutputFormat
-?MultipleOutputs
海里網(wǎng)站日志分析系統(tǒng)示例
-?網(wǎng)站日志介紹
-?業(yè)務(wù)分析
-?系統(tǒng)實(shí)現(xiàn)
AM
Hadoop的架設(shè)與維護(hù)
生產(chǎn)環(huán)境部署?
參數(shù)配置?
運(yùn)維操作?
監(jiān)控策略
PM
Cassandra的原理與實(shí)際應(yīng)用
數(shù)據(jù)模型?
編程接口?
-?一致性模型與數(shù)據(jù)容錯(cuò)?
-?CAP
-?ReadRepair
-?Hint
-?AntiPoint
底層文件存儲(chǔ)格式?
與Map?Reduce的整合?
實(shí)際應(yīng)用案例
HBase
數(shù)據(jù)模型?
編程接口?
底層文件格式?
集群管理?
數(shù)據(jù)容錯(cuò)?
與Map?Reduce的整合
?