課程大綱：

自然語言處理預(yù)訓(xùn)練技術(shù)培訓(xùn)

預(yù)訓(xùn)練模型目前在自然語言處理領(lǐng)域得以廣泛應(yīng)用，

課程將圍繞 BERT，GPT-2，XLNet 等前沿的預(yù)訓(xùn)練模型技術(shù)，

使用基于 PyTorch 開發(fā)的 PyTorch-Transformers 預(yù)訓(xùn)練模型庫進(jìn)行實(shí)踐。

1 BERT 預(yù)訓(xùn)練模型

2 XLNet 預(yù)訓(xùn)練模型

3 文本生成任務(wù)

4 GPT-2 預(yù)訓(xùn)練模型

5 文本分類任務(wù)

6 序列標(biāo)注任務(wù)

1
BERT 預(yù)訓(xùn)練模型及文本分類

1.語言模型和詞向量

2.BERT結(jié)構(gòu)詳解

3.BERT文本分類

1
Kaggle 電影評(píng)論情感分析

1.預(yù)訓(xùn)練模型使用

2.Kaggle平臺(tái)使用

2
GPT-2 預(yù)訓(xùn)練模型及文本生成

1.GPT2的核心思想

2.GPT2模型結(jié)構(gòu)詳解

3.GPT2進(jìn)行文本生成

2
Kaggle 各國食譜分類比賽

1.預(yù)訓(xùn)練模型使用 2.Kaggle平臺(tái)使用

3
XLNet 預(yù)訓(xùn)練模型及命名實(shí)體識(shí)別

1.XLNet在BERT和GPT2上的改進(jìn)

2.XLNet模型結(jié)構(gòu)

3.使用XLNet進(jìn)行命名實(shí)體識(shí)別實(shí)驗(yàn)

3
Quora 文本相似度分析比賽

1.文本相似度問題轉(zhuǎn)換

2.預(yù)訓(xùn)練模型使用

3.Kaggle平臺(tái)使用