Hadoop是大數(shù)據(jù)平臺處理的框架的基石,尤其在海量數(shù)據(jù)的存儲HDFS、分布式資源管理和任務(wù)調(diào)度YARN及分布式計算框架MapReduce。現(xiàn)在Hadoop已經(jīng)在大中小企業(yè)中廣泛使用,Hadoop工程師的需求量也越來越大。
?
隨著Python在數(shù)據(jù)分析、大數(shù)據(jù)和人工智能的廣泛使用,越來越多的企業(yè)選擇使用Python來編寫Hadoop代碼,從而達(dá)到代碼的統(tǒng)一性。而目前市面上的Hadoop基本上是使用Java來寫的。為適應(yīng)更多企業(yè)的實際需求,特此推出Python大數(shù)據(jù)之Hadoop編程從入門到精通系列課程。
?
?
通過本課程的學(xué)習(xí),學(xué)員可掌握Hadoop的架構(gòu)原理和使用場景,并通過貫穿課程的項目進(jìn)行實戰(zhàn)鍛煉,從而熟練使用Hadoop進(jìn)行MapReduce程序開發(fā)。課程還涵蓋了分布式計算領(lǐng)域的常用算法介紹,幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值。
此外,學(xué)員還可以學(xué)習(xí)劉聲老師的另一個大數(shù)據(jù)課程《Python大數(shù)據(jù)之Spark編程從入門到精通》http://edu.51cto.com/course/12649.html?
課程目錄
一、Hadoop入門
hadoop介紹
二、Hadoop之HDFS
hadoop HDFS指令全解析
啟動hadoop的方法與注意事項
?
三、Hadoop之MapReduce
Mapreduce -Python編程原理+實戰(zhàn)
在Hadoop集群中實際運行MapReduce
【案例】使用Python編寫MapReduce代碼求最低溫度
【案例】分析好友交際關(guān)系
Hadoop中的Shuffle&Sort原理與應(yīng)用
?
四、多級MapReduce任務(wù)組合級聯(lián)
MRstep構(gòu)建多級MapReduce原理與實例
【案例】使用多級MapReduce分析城市年薪數(shù)據(jù)
?
五、Hadoop中Combiner的原理與應(yīng)用
Combiner的原理解析
多級MapReduce任務(wù)的combiner
【案例】使用combiner分析顧客數(shù)據(jù)
【案例】分析漫威漫畫英雄關(guān)系
【擴(kuò)展】Hadoop參數(shù)解析
?
六、企業(yè)大項目實戰(zhàn):使用Hadoop構(gòu)建電影推薦引擎
電影相似度的數(shù)學(xué)原理——余弦相似度
【大項目】使用Python+Hadoop編寫電影推薦引擎代碼