本課程內容:
第一章:課程內容簡介
第二章:DAG的調度
2.1 stage的劃分
2.2 stage的調度
第三章:任務調度
3.1 taskset調度的先進先出(FIFO)機制
3.2 taskset調度的公平調度(FAIR)機制
3.3?taskset調度的公平調度(FAIR)機制需要注意的點
3.4 task調度的本地性級別定義
3.5 task調度的延遲調度講解一
3.6?task調度的延遲調度講解二
3.7?task調度的推測機制
3.8?task調度的黑名單機制
3.9?task調度的黑名單機制使用場景
第四章 資源調度
4.1 executor資源的管理
4.2 task的launch流程及其需要注意的點
4.3 task的statusUpdate流程
第五章 Schedulers On Driver的源代碼講解
5.1 schedulers on driver的總體流程
5.2 源碼講解之schedulers的初始化
5.3 源碼講解之job提交流程
5.3 源碼講解之task結果處理
第六章 多個spark應用的調度
6.1 動態資源分配機制
6.2 External shuffle service機制
6.2 External shuffle service機制實戰
-