導讀

從淺入深學習Transformer的資料匯總。

Transformers 加速了自然語言處理(NLP)任務的新技術和模型的發展。雖然它主要用于NLP任務，但現在它被大量應用于處理計算機視覺任務。這使它成為一個非常重要的技術。

我知道很多機器學習和NLP的學生和從業者都非常熱衷于學習Transformers 。因此，我保存了一份資源和學習材料的配方，幫助學生了解Transformers的世界。

首先，在這篇文章中，我準備了一些材料鏈接，用于更好地從頭開始理解和實現transformer模型。

寫這篇文章的原因是這樣我就可以有一個簡單的方法來繼續更新學習材料。

高層次介紹

首先，關于Transformers的非常高層次的介紹。一些值得一看的參考資料:

https://theaisummer.com/transformer/

https://hannes-stark.com/assets/transformer_survey.pdf

Transformer 圖解

Jay Alammar)的解釋很特別。一旦你對Transformer有了高層次的理解，你就可以跳到下面這個流行的關于Transformer的圖解說明：

http://jalammar.github.io/illustrated-transformer/

技術匯總

此時，你可能正在尋找Transformers的技術摘要和概述。Lilian Weng的博文是一個寶藏，提供了簡潔的技術解釋/總結：

https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html

實現

理論之后，檢驗知識是很重要的。我通常喜歡更詳細地理解事物，所以我更喜歡從頭開始實現算法。對于實現Transformers，我主要依賴于這個教程:

https://nlp.seas.harvard.edu/2018/04/03/attention.html

Attention Is All You Need

本文由Vaswani等人介紹了Transformer 的結構。在你有一個高層次的理解和想要進入細節后再讀它。為了深入研究，請注意論文中的其他參考文獻。

https://arxiv.org/pdf/1706.03762v5.pdf

應用 Transformers

在學習和理解Transformers背后的理論一段時間后，你可能會有興趣將它們應用到不同的NLP項目或研究中。現在，你最好的選擇是HuggingFace的Transformers庫。

https://github.com/huggingface/transformers

責任編輯：lq