AI領域的基石王者,那些還沉迷於CNN，RNN的工程師被警告：放棄戰鬥吧，向Transformer投降！ 在過去的二十年中，自然語言處理研究領域發生了翻天覆地的變化。在這段時間裡，自然語 言處理經歷了不同的處理範式，並最終進入了一個由神奇的Transformer體系結構主導的新時代。 Transformer深度學習架構是通過繼承許多方法而產生的，其中包括上下文詞嵌入、多頭注意力機制、位置編碼、並行體系結構、模型壓縮、遷移學習、跨語言模型等。在各種基於神經的自然語言處理方法中， Transformer架構逐漸演變為基於注意力的“編碼器-解碼器”體系結構，並持續發展到今天。現在，我們在文獻中看到了這種體系結構的新的成功變體。目前研究已經發現了只使用 Transformer 架構中編碼器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers雙向編碼表示);或者只使用Transformer架構 中解碼器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的預訓練 Transformer)。 本書涵蓋了這些自然語言處理方法。基於 Hugging Face社區的Transformer庫，我們能夠輕 松地使用Transformer。 本書將循序漸進地提供各種自然語言處理問題的解決方案：從文檔摘要到問 題回答系統。我們將看到，基於Transformer, 可以取得最先進的成果。 讀者對象本書面向深度學習研究人員、自然語言處理從業人員、機器學習/自然語言處理教育者，以及希望開啟Transformer體系結構學習之旅的學生群體。為了充分掌握本書的內容，要求讀者具有初級 水平的機器學習知識，以及良好的Python 基礎知識。
