ELK是目前行業(yè)中非常熱門的一個(gè)技術(shù),它可以用于電商網(wǎng)站、門戶網(wǎng)站、企業(yè)IT系統(tǒng)等各種場景下,也可以用于對海量的數(shù)據(jù)進(jìn)行近實(shí)時(shí)的數(shù)據(jù)分析。
ELK呢,就是給運(yùn)維提供輔助的一個(gè)應(yīng)用套件。運(yùn)維工作就是對各種業(yè)務(wù)系統(tǒng)進(jìn)行監(jiān)控,發(fā)現(xiàn)問題,能夠及時(shí)告警,然后能夠迅速查到問題,進(jìn)而解決問題,這是運(yùn)維工作的核心。而如果運(yùn)維管理的服務(wù)器和業(yè)務(wù)系統(tǒng)非常多的情況下,可能無法及時(shí)、準(zhǔn)確的了解每個(gè)業(yè)務(wù)系統(tǒng)和服務(wù)器的狀態(tài),如果發(fā)現(xiàn)業(yè)務(wù)系統(tǒng)有問題,那就需要登錄業(yè)務(wù)系統(tǒng)服務(wù)器去查問題,但是如果服務(wù)器很多呢,有幾百臺、甚至更多情況下,不可能一個(gè)一個(gè)系統(tǒng)登錄查看吧。
怎么解決這種問題呢,ELK這個(gè)套件工具,就可以解決這個(gè)問題,ELK是集中對日志進(jìn)行收集、過濾、分析、可視化展示的工具。
通過ELK,將運(yùn)維所有的服務(wù)器日志,業(yè)務(wù)系統(tǒng)日志都收集到一個(gè)平臺下,然后提取想要的內(nèi)容,比如錯(cuò)誤信息,警告信息等,當(dāng)過濾到這種信息,就馬上告警,告警后,運(yùn)維人員就能馬上定位是哪臺機(jī)器、哪個(gè)業(yè)務(wù)系統(tǒng)出現(xiàn)了問題,出現(xiàn)了什么問題,都會在ELK平臺有詳細(xì)的描述。
課程大綱:
1、ELK企業(yè)常見應(yīng)用架構(gòu)分享以及工作流程
2、zookeeper基礎(chǔ)入門與集群架構(gòu)模式
3、kafka基礎(chǔ)入門以及Topic與Partition
4、kafka的消息發(fā)送、消費(fèi)與存儲機(jī)制詳解
5、filebeat基礎(chǔ)入門以及ELK常見企業(yè)應(yīng)用架構(gòu)
6、ELK+Filebeat+Kafka構(gòu)建大數(shù)據(jù)日志分
7、elasticsearch集群架構(gòu)以及JDK環(huán)境變量
8、elasticsearch集群構(gòu)建并進(jìn)行系統(tǒng)JVM調(diào)
9、elasticsearch集群配置以及常用參數(shù)介紹
10、【案例實(shí)戰(zhàn)】安裝與配置zookeeper集群過程1
11、【案例實(shí)戰(zhàn)】安裝與配置zookeeper集群過程2
12、安裝與配置kafka集群的方法與注意事項(xiàng)
13、【案例實(shí)戰(zhàn)】安裝并配置kafka集群的全過程
14、kafka集群命令講解創(chuàng)建topic 生產(chǎn)消息與消費(fèi)
15、【案例實(shí)戰(zhàn)】安裝并配置filebeat及配置項(xiàng)介紹
16、啟動(dòng)filebeat并驗(yàn)證日志輸出和日志格式說明
17、filebeat日志輸出格式介紹和字段刪減方法
18、logstash深入input filteroutp
19、logstash入門介紹以及日志輸出格式解析1
20、logstash入門介紹以及日志輸出格式解析2
21、logstash編寫事件配置文件并從kafka消費(fèi)數(shù)
22、安裝配置Kibana以及使用Kibana可視化數(shù)據(jù)
23、【總結(jié)】ELK架構(gòu)調(diào)試并驗(yàn)證ELK日志數(shù)據(jù)流向
24、logstash語法應(yīng)用以及input插件功能講解1
25、logstash語法應(yīng)用以及input插件功能講解2
26、Logstash編碼插件(Codec)功能講解與應(yīng)用
27、Logstash過濾器插件(Filter)Grok應(yīng)
28、logstash的filter插件對字段的分割、轉(zhuǎn)換
29、logstash 的filter插件mutate g
30、【實(shí)戰(zhàn)】logstash的filter插件線上綜合應(yīng)
31、【實(shí)戰(zhàn)】logstash輸出插件output應(yīng)用實(shí)例
32、【實(shí)戰(zhàn)案例】ELK收集apache訪問日志實(shí)戰(zhàn)案例
33、自定義apache訪問日志輸出格式并驗(yàn)證講解
34、配置filebeat收集apache訪問日志文件操作
35、編寫logstash事件配置文件消費(fèi)apache日志
36、編寫logstash事件配置文件消費(fèi)apache日志
37、編寫logstash事件配置文件消費(fèi)apache日志
38、【實(shí)戰(zhàn)案例】ELK收集nginx訪問日志實(shí)戰(zhàn)案例
39、編寫logstash事件配置文件消費(fèi)nginx日志數(shù)