1. Apache NiFi大數據數據處理和分發系統培訓實戰
   ? 課程信息
   Apache NiFi 是一個易于使用、功能強大而且可靠的數據處理和分發系統。Apache NiFi 是為數據流設計。它支持高度可配置的指示圖的數據路由、轉換和系統中介邏輯。
2. 培訓特色
   Apache NiFi 是一個易于使用、功能強大而且可靠的數據處理和分發系統。Apache NiFi 是為數據流設計。它支持高度可配置的指示圖的數據路由、轉換和系統中介邏輯。
3. 目標收益
   NiFi這個項目在2015年7月成功成為Apache開源社區的頂級項目，NiFi之前是在美國國家安全局使用了8年的一個可視化，可定制的數據集成產品，2014年貢獻給了Apache開源社區。我們認為NiFi的出現填補的大數據集成領域的空白， 它不僅提供了可視化的工具實現大數據環境下不同系統之間進行數據移動和互聯互通如SQL，HDFS，Kafka， HBASE， Solr，HTTP(s)、(s)FTP 而且還可以以可視化的方式進行各種數據格式的轉換，json，xml，avro等。NiFi的出現使得大數據環境下的數據移動變得簡單、高效、安全、可視 化，大大方便了業務和開發人員。
4. 培訓對象
5. 大數據開發團隊、大數據運維團隊、數據采集和ETL人員、數據治理和管理人員
6. 課程大綱
   ?
7. 主題 內容
   模塊 1：Nifi原理和架構
8. Nifi的功能概述
   Nifi原理和架構?
   Nifi基本模塊介紹
   Nifi Groups、Processor、queue和connector模塊介紹
   Nifi toolbar 界面演示
9. 模塊2：Nifi安裝和配置
10. Nifi單機版安裝
    Nifi分布式安裝
    Nifi slaves節點配置
    數據丟失容錯和保證交付?
    低延遲和高吞吐量
    動態優先級?
    流可以在運行時修改?
11. 模塊3：GUI 操作介紹
12. 無縫體驗設計、控制和監視
    processor的create、stop、start、restart、delete等操作
13. 模塊4：Nifi自帶處理器介紹
14. Processor的原理和功能
    Kafka Processor介紹和實戰
    JMS Processor介紹和實戰
    Hbase、Cassandera、redis Processor介紹和實戰
    Hdfs Processor、spark Streaming實戰
    JDBC Processor介紹和實戰
    FTP、Http、XML、Json Processor介紹和實戰
15. 模塊5：創建Nifi數據流
16. 創建發送/接收目錄
    getFile和putFile Processor創建
    創建復制文件從發送放到接收
    創建Queue隊列
17. 模塊6：創建高級數據流
18. 自定義文件名
    添加自定義屬性
    添加正則表達式
    實現Path過濾規則
19. 模塊7：Nifi安全
20. 創建用戶、用戶組、角色?
    SSL,SSH,HTTPS加密認證
    可插拔的基于角色的驗證/授權
    基于webUI的SLA認證授權?
21. 模塊8：創建Nifi處理器
22. 實現一個Kafka、JMS到HDFS的流程設計
    查看運行日志
    查看監控
23. 模塊9：Nifi集群配置和管理
24. Nifi集群添加節點
    刪除節點
    Nifi性能優化
    Slaves節點的負載均衡配置
    制定特定的Processor到特定的node節點
    集群動態負載均衡配置
25. 模塊10：用戶自定義處理器
26. eclipse工程創建
    實現一個FilterFileProcessor功能
    編譯&添加到Nifi的lib下面
    創建用戶自定義的FilterFile處理器
27. 模塊11：Nifi實戰
28. Nifi在互聯網的使用實戰
    Nifi在某大型商業銀行實戰案例分享
29. 
    ?? 3.IAAS存儲選型及規劃
    四：云數據中心運維
    1.?云數據中心面臨的主要問題
    2.?云數據中心運維平臺總體架構。
    3.?云數據中心監控
    4.?云數據中心資本管理
    5.?IT服務管理
    五：云數據中心基礎設施規劃與建設
    1.?土建和施工
    2.?綠色機房的規劃
    3.?綠色機房建設要點
    六：災備解決方案的規劃與建設
    1.?災備的概念
    2.?災備的標準規范
    3.?災備的建設要點
    七：傳統數據中心的改造和整合
    1.?架構治理的框架
    2.?運營模型
    3.?傳統數據中心改造和整合
    八：云數據中心安全
    1.?從“斯諾登事件”看安全
    2.?云數據中心安全措施
    3.?安全機制與應急方案
    九：云數據中心展望
    1.?標準化數據中心
    2.?綠色節能模式的深入應用。
    3.?大虛擬化時代的到來
    4.?云數據中心在大數據方向的應用
    7.2　使用ansible-vault
    7.3　典型應用場景
    第8章　Ansible與云計算
    8.1　了解云平臺管理流程
    8.2　Ansible AWS和OpenStack
    8.3　Ansible與Docker
    8.4　Ansible Jenkins
    第9章　部署Zabbix組件
    9.1　了解部署流程
    9.2　編寫業務roles
    9.3　安裝部署
    第10章　部署HAProxy + LAMP架構
    10.1　了解整體架構流程
    10.2　編寫業務roles
    10.3　配置部署以及測試
    10.4　擴容與維護
    第11章　大數據環境的應用實戰
    11.1　某運營商大數據環境
    11.2　準備大數據集群環境
    11.3　部署Hadoop集群
    11.4　部署后Hadoop初始化與驗證
    第12章　Ansible管理Windows系統
    12.1　Ansible管理Windows工作原理
    12.2　搭建Ansible管理工作組Windows環境
    12.3　搭建Ansible管理活動目錄Windows環境
    12.4　支持管理Windows模塊
    12.5　常用Windows管理實例
    第13章　網絡自動化管理的應用實戰
    13.1　網絡管理也自動化了
    13.2　Ansible官方集成的網絡角色
    13.3　生成配置文件及部署
    13.4　通過SNMP方式配置網絡
    13.5　網絡設備廠商提供接口實現自動化
    第14章　Ansible API
    14.1　runner API
    14.2　playbook API
    14.3　使用Flask封裝Ansible API
    14.4　使用Celery實現任務異步化
    14.5　使用jQuery Ajax異步請求
30. 
    ?
    
    
    
31. 
    ?
    ?
32. 
    ?
    ?
33. 
    ?
    ?
34. 
    ?
35. 
    ?
36. 
    ?
37. 
    ?
38. 
    ?
    ?
39. 
    ?
    ?
    ?
    ?
40. 
    ?
41. 
    ?
42. 
    ?
    ?
    ?
    ?
43. 
    ?
    ?
    ?
    ?
44. 
    ? ?
45. 
    
46. 
    ?
47. 
    ?
    ?
48. 
    ?
    ?
49. 
    
    

"