基於GPT-3、ChatGPT、GPT-4等Transformer架構的自然語言處理（簡體書）

Transformer正在顛覆AI領域。市面上有這麼平臺和Transformer模型，哪些最符合你的需求？ 將引領你進入Transformer的世界，將講述不同模型和平臺的優勢，指出如何消除模型的缺點和問題。本書將引導你使用Hugging Face從頭開始預訓練一個RoBERTa模型，包括構建數據集、定義數據整理器以及訓練模型等。 《基於GPT-3、ChatGPT、GPT-4等Transformer架構的自然語言處理》分步展示如何微調GPT-3等預訓練模型。研究機器翻譯、語音轉文本、文本轉語音、問答等NLP任務，並介紹解決NLP難題的技術，甚至幫助你應對假新聞焦慮(詳見第13章)。 從書中可了解到，諸如OpenAI的高級平臺將Transformer擴展到語言領域、計算機視覺領域，並允許使用DALL-E 2、ChatGPT和GPT-4生成代碼。通過本書，你將了解到Transformer的工作原理以及如何實施Transformer來決NLP問題。 主要內容 ? 了解用於解決複雜語言問題的新技術 ? 將GPT-3與T5、GPT-2和基於BERT的Transformer的結果進行對比 ? 使用TensorFlow、PyTorch和GPT-3執行情感分析、文本摘要、非正式語言分析、機器翻譯等任務 ? 了解ViT和CLIP如何標注圖像(包括模糊化)，並使用DALL-E從文本生成圖像 ? 學習ChatGPT和GPT-4的高級提示工程機制

Denis Rothman 畢業於法國巴黎索邦大學和狄德羅大學，設計了首批獲得專利的編碼和嵌入系統，編寫了首批獲得專利的AI 認知機器人和機器人。他的職業生涯始於為Moët et Chandon 提供NLP(自然語言處理)聊天機器人，並為空中客車公司(前身為Aerospatiale)提供AI 戰術防御優化器。此後，Denis 為IBM 和奢侈品牌開發了AI資源優化器，並最終發展為在全球範圍內使用的APS(高級規劃和調度)解決方案。

在不到4 年的時間裡，Transformer 模型以其強大的性能和創新的思想，迅速在NLP 社區嶄露頭角，打破了過去30 年的記錄。BERT、T5 和GPT 等模型現在已成為計算機視覺、語音識別、翻譯、蛋白質測序、編碼等各個領域中新應用的基礎構件。因此，斯坦福大學最近提出了“基礎模型”這個術語，用於定義基於巨型預訓練Transformer 的一系列大型語言模型。所有這些進步都歸功於一些簡單的想法。
《基於GPT-3、ChatGPT、GPT-4等Transformer架構的自然語言處理》可作為所有對Transformer 工作原理感興趣的人的參考書。作者在理論和實踐兩方面都做出了出色的工作，詳細解釋了如何逐步使用Transformer。閱讀完本書後，你將能使用這一最先進的技術集合來增強你的深度學習應用能力。本書在詳細介紹BERT、RoBERTa、T5 和GPT-3 等流行模型前，先講述了Transformer 的架構以便為你的學習奠定堅實基礎。本書還講述了如何將Transformer 應用於許多用例，如文本摘要、圖像標注、問答、情感分析和假新聞分析等。
如果你對這些主題感興趣，那麼本書絕對是值得一讀的。
——Antonio Gulli
Google 工程總監Antonio Gulli

Transformer 是自然語言理解(Natural Language Understanding，NLU)的遊戲規則改變者，NLU 是自然語言處理(Natural Language Processing，NLP)的一個子集。NLU已成為全球數字經濟中AI 的支柱之一。
Transformer 模型標志著AI 新時代的開始。語言基礎已成為語言建模、聊天機器人、個人助理、問答、文本摘要、語音轉文本、情緒分析、機器翻譯等的支柱。社交網絡正在取代實體接觸，電子商務正在取代實體購物，數字報紙、流媒體正在取代實體劇院，遠程文檔咨詢正在取代實體訪問，遠程工作正在取代現場辦公，我們正在見證數百個領域的類似趨勢。如果沒有理解AI 語言，社會上使用網絡瀏覽器、流媒體服務和任何涉及語言的數字活動都將非常困難。我們的社會從物理信息到海量數字信息的範式轉變迫使AI 進入一個新時代。AI 已經發展到數十億級參數模型，以應對萬億級單詞數據集的挑戰。
Transformer 架構具有革命性和顛覆性，它打破了過往RNN 和CNN 的主導地位。BERT 和GPT 模型放棄了循環網絡層，使用自注意力機制取而代之。Transformer 模型優於RNN 和CNN。這是AI 歷史上劃時代的重大變化。
Transformer 編碼器和解碼器包含單獨訓練的注意力頭(attention head)，並能使用GPU、TPU 等尖端硬件進行並行化。注意力頭可以使用GPU 運行，從而為十億級參數模型和即將出現的萬億級參數模型打開大門。OpenAI 在一臺具有10 000個GPU和285 000 個CPU 內核的超級計算機上訓練出具有1750 億個參數的GPT-3 Transformer 模型。
隨著數據量的不斷增長，訓練AI 模型需要的規模也越來越大。Transformer 模型為參數驅動的AI 開啟了新時代。我們需要大量參數進行學習，才能學習到由數以億計的單詞組合的數據集。
Google BERT 和OpenAI GPT-3 等Transformer 模型將AI 提升到另一個層次。
Transformer 可以執行數百項它們沒有接受過訓練的NLP 任務。
Transformer 還可通過將圖像視為單詞序列來學習圖像分類和重構圖像。本書將介紹尖端的計算機視覺Transformer，如Vision Transformer(ViT)、CLIP 和DALL-E。
基礎模型是指經過充分訓練的、不需要微調即可執行數百項任務的Transformer模型。這種規模的基礎模型是我們在這個海量信息時代所需的工具。
想想每天需要多少人來控制社交網絡上發布的數十億條消息的內容，以便在提取所包含的信息之前確定是否合法和合乎道德。
想想每天在網絡上發布的數百萬頁文字需要多少人來翻譯。或者想象一下，如果要人工對每分鐘多達數百萬條消息進行控制需要多少人力資源！
想想將每天在網絡上發布的所有大量流媒體轉換為文字需要多少人力資源。想想為不斷出現的數十億幅在線圖像生成AI 圖像字幕需要多少人力資源。
本書將帶領你開發代碼和設計提示(這是一項控制Transformer 模型行為的新的“編程”技能)。每一章都會使用Python、PyTorch 和TensorFlow 從頭開始講授語言理解的關鍵方面。
你將學習原始Transformer、Google BERT、OpenAI GPT-3、T5 和其他幾個模型的架構。最後一章將在前面16 章所學知識的基礎上，展示ChatGPT 和GPT-4 的增強能力。你將學會如何微調Transformer，如何從頭開始訓練模型，如何使用強大的API。
Facebook、Google、Microsoft 和其他大型科技公司提供了大量數據集供我們探索。
你會密切關注市場上對語言理解的需求，例如媒體、社交媒體和研究論文等領域。
在數百項AI 任務中，我們需要總結大量的研究數據，為各個領域翻譯文件，並出於倫理和法律原因掃描所有社交媒體帖子。
整本書將使用Python、PyTorch 和TensorFlow 進行實戰。你將首先學習AI 語言理解神經網絡模型的要素，然後學習如何探索和實現Transformer。
本書旨在為讀者提供在這個顛覆性的AI 時代中，有效開發語言理解關鍵方面所需的Python 深度學習知識和工具，呈現成為工業 4.0 AI 專家所需要的新技能。
本書讀者物件
本書並不介紹Python 編程或機器學習概念，而是專注於機器學習的機器翻譯、語音到文本、文本到語音、語言建模、問答和更多NLP 領域。
本書讀者物件包括：
● 熟悉Python 編程的深度學習和NLP 從業者。
● 數據分析師和數據科學家，他們希望了解AI 語言理解，從而完成越來越多的語言驅動的功能。
本書內容
第1 章“Transformer 模型介紹”從較高層次解釋什麼是Transformer 模型。我們將研究Transformer 生態系統和基礎模型的特性。該章重點介紹許多可用的平臺以及工業4.0 AI 專家的發展歷程。
第2 章“Transformer 模型架構入門”通過回顧NLP 的背景，講述了循環神經網絡(RNN)、長短期記憶網絡(LSTM)和卷積神經網絡(CNN)深度學習架構是如何演變為Transformer 架構的。我們將通過Google Research 和Google Brain 的作者們獨創的“注意力機制就是一切(Attention Is All You Need)”的方法來分析Transformer 的架構。將描述Transformer 的理論，並通過Python 實踐來講解多頭注意力子層是如何工作的。
通過本章的學習，你將理解Transformer 的原始架構，從而為後續章節探索Transformer多種變體和用法打下良好基礎。
第3 章“微調BERT 模型”基於原始Transformer 的架構進行擴展。BERT(Bidirectional Encoder Representations from Transformers)向你展示了一種理解NLP 世界的新方式。
與通過分析過去序列來預測未來序列不同，BERT 關注整個序列！首先介紹BERT 架構的關鍵創新，然後通過在Google Colab 筆記本中逐步執行每個步驟來微調一個BERT模型。與人類一樣，BERT 可以學習任務並執行其他新任務，而不需要從頭學習。
第4 章“從頭開始預訓練RoBERTa 模型”使用Hugging Face PyTorch 模塊從頭構建一個RoBERTa Transformer 模型。這個Transformer 模型既類似於BERT，又類似於DistilBERT。首先，我們將使用自定義數據集從頭訓練一個詞元分析器。然後將使用訓練好的Transformer 運行下遊的掩碼語言建模任務。
第5 章“使用Transformer 處理下遊NLP 任務”揭示了Transformer 模型在下遊NLP 任務中的神奇之處。我們可以微調預訓練Transformer 模型以執行一系列NLP 任務，如BoolQ、CB、MultiRC、RTE、WiC 等在GLUE 和SuperGLUE 排行榜上占據主導地位的NLP 任務。將介紹Transformer 的評估過程、任務、數據集和評估指標。
然後將使用Hugging Face 的Transformer 流水線處理一些下遊任務。
第6 章“機器翻譯”講述什麼是機器翻譯，並討論如何從依賴人類翻譯的基準轉向使用機器翻譯的方法，從而幫助讀者理解如何構建機器翻譯系統並進行進一步的研究和開發。然後，我們將預處理來自歐洲議會的WMT 法英數據集。機器翻譯需要精確的評估方法，這一章將講述BLEU 評分方法。最後，我們將使用Trax 實現一個Transformer 機器翻譯模型。
第7 章“GPT-3”探索了OpenAI GPT-2 和GPT-3 Transformer 的許多方面。首先研究OpenAI GPT 模型的架構，解釋GPT-3 引擎。然後將運行一個GPT-2 345M 參數模型，並與之交互生成文本。接著將講述GPT-3 playground 的實際應用，使用GPT-3模型運行NLP 任務，並將結果與GPT-2 進行比較。
第8 章“文本摘要(以法律和財務文檔為例)”介紹T5 Transformer 模型的概念和架構。我們將使用Hugging Face 初始化一個T5 模型進行文本摘要。將使用T5 模型匯總各種文本，然後探索應用於Transformer 的遷移學習方法的優點和局限性。最後，將使用GPT-3 將一些公司法律文本匯總為小學二年級學生都能看懂的文本。
第9 章“數據集預處理和詞元分析器”分析詞元分析器的局限性，並介紹一些改進數據編碼過程質量的方法。首先構建一個Python 程序，調查為什麼一些單詞會被Word2Vector 詞元分析器省略或誤解，講述預訓練詞元分析器的局限性。然後我們改進了第8 章T5 模型生成的摘要，以展示詞元化過程方法仍然有很大的改進空間。最後，將測試GPT-3 語言理解能力的極限。
第10 章“基於BERT 的語義角色標注”探索Transformer 如何學習理解文本內容。
語義角色標注(SRL)對人類來說是一項具有挑戰性的任務。Transformer 能夠產生令人驚訝的結果。我們將使用Google Colab 筆記本實現由Allen AI 研究所設計的基於BERT的Transformer 模型。還將使用該研究所的在線資源來可視化SRL 的輸出。最後將講述SRL 的局限性和適用範圍。
第11 章“使用Transformer 進行問答”展示Transformer 如何學習推理。Transformer能夠理解文本、故事，並進行推理。我們將看到如何通過添加NER 和SRL 來增強問答過程。我們將介紹如何設計並實現一個問題生成器；它可以用於訓練Transformer模型，也可以單獨使用來生成問題。
第12 章“情緒分析”展示了Transformer 如何改進情緒分析。我們將使用斯坦福情緒樹庫對複雜句子進行分析，然後挑戰幾個Transformer 模型，看看是否能夠理解序列的結構及其邏輯形式。我們將看到如何使用Transformer 進行預測，並根據情緒分析的輸出觸發不同的行為。該章最後還列舉一些使用GPT-3 的案例。
第13 章“使用Transformer 分析假新聞”深入講述假新聞這個熱門話題，以及Transformer 如何幫助我們理解每天在網絡上看到的在線內容的不同觀點。每天有數十億條消息、帖子和文章通過社交媒體、網站和各種實時通信方式發布在網絡上。我們將利用前幾章介紹的技術來分析關於氣候變化和槍支管控的辯論。我們將討論在合理懷疑的基礎上如何確定什麼可以被視為假新聞，以及什麼新聞仍然是主觀的道德和倫理問題。
第14 章“可解釋AI”通過可視化Transformer 模型的活動來揭開Transformer 模型的面紗。我們將使用BertViz 來可視化注意力頭，並使用語言可解釋性工具(LIT)進行主成分分析(PCA)。最後將使用LIME 通過字典學習來可視化Transformer。
第15 章“從NLP 到計算機視覺”深入研究高級模型Reformer 和DeBERTa，並使用Hugging Face 運行示例。Transformer 可將圖像視作單詞序列進行處理。該章還將研究各種視覺Transformer 模型，如ViT、CLIP 和DALL-E；我們將使用計算機視覺任務測試它們，包括圖像生成。
第16 章“AI 助理”講述了當工業4.0(I4.0)達到成熟階段時，我們將主要與AI助理(Copilot)一起工作。AI 助理主要基於提示工程，所以該章首先列舉幾個非正式/正式英語提示工程的示例，使用GitHub Copilot 來輔助生成代碼。然後講述視覺Transformer 如何幫助NLP Transformer 可視化周圍的世界。最後將創建一個基於Transformer 的推薦系統，可將它應用於數字人和元宇宙中！
第17 章“ChatGPT 和GPT-4”在前幾章的基礎上，探索了OpenAI 最先進的Transformer 模型ChatGPT 和GPT-4。將使用ChatGPT 建立對話式AI，並學習如何使用可解釋AI 解釋Transformer 的輸出。將探索GPT-4，並使用提示編寫一個k-means聚類程序。還將介紹一個高級用例。最後將使用DALL-E 2 來創建和生成圖像的變體。
附錄A“Transformer 模型術語”講述Transformer 的高層結構(從堆疊和子層到注意力頭)。
附錄B“Transformer 模型的硬件約束”比較了使用CPU 和GPU 運行Transformer的性能。我們將看到為什麼Transformer 和GPU 是完美的絕配，並通過使用Google Colab CPU、Google Colab 免費版GPU 和Google Colab 專業版GPU 來測試得出的結論。
附錄C“使用GPT-2 進行文本補全”詳細講述如何使用第7 章講述的GPT-2 進行通用文本補全。
附錄D“使用自定義數據集訓練GPT-2 模型”補充了第7 章的內容，通過使用自定義數據集構建和訓練一個GPT-2 模型，並使用自定義文本與其進行交互。
附錄E“練習題答案”提供每章末尾練習題的答案。
如何閱讀本書
本書大部分程序都使用Google Colab 筆記本。你只需要一個免費的Google Gmail帳戶，就可以使用Google Colab 的免費VM 運行這些筆記本。不過對於某些教學性程序，你需要在你的計算機上安裝Python 來運行。
請花時間閱讀第2 章和附錄A。第2 章講述了原始Transformer，該模型是使用附錄A 講述的構建模塊構建而成的，第2 章和附錄A 的這些基礎知識將在整本書都會用到。如果你覺得這些基礎知識難以理解，可以先閱讀後面的章節。當通過閱讀後續章節對Transformer 更加熟悉後，再回頭閱讀第2 章。
可以在閱讀每章後，考慮如何為客戶實現Transformer，或者如何利用它們的新穎機理在你的職業生涯中取得進步。
在線資源
本書的代碼、附錄A～D、各章練習題的答案(附錄E)等在線資源，可通過掃描本書封底的二維碼下載。另外，讀者可掃描封底二維碼來下載彩圖。
參考資料
將各章的參考資料匯集在一個文檔中，讀者可掃描封底二維碼來下載該文檔。

第1 章 Transformer 模型介紹 1
1.1 Transformer 的生態系統 2
1.1.1 工業4.0 2
1.1.2 基礎模型 3
1.2 使用Transformer 優化NLP模型 6
1.3 我們應該使用哪些資源 8
1.3.1 Transformer 4.0 無縫API 的崛起 9
1.3.2 選擇即用型API驅動庫 11
1.3.3 選擇Transformer模型 11
1.3.4 工業4.0 AI 專家的技能要求 12
1.4 本章小結 13
1.5 練習題 14
第2 章 Transformer 模型架構入門 15
2.1 Transformer 的崛起：注意力就是一切 16
2.1.1 編碼器堆疊 17
2.1.2 解碼器堆疊 37
2.2 訓練和性能 40
2.3 Hugging Face 的Transformer模型 40
2.4 本章小結 41
2.5 練習題 42
第3 章 微調BERT 模型 43
3.1 BERT 的架構 44
3.2 微調BERT 50
3.2.1 選擇硬件 50
3.2.2 安裝使用BERT 模型必需的Hugging Face PyTorch接口 50
3.2.3 導入模塊 50
3.2.4 指定Torch 使用CUDA 51
3.2.5 加載數據集 51
3.2.6 創建句子、標注列表以及添加[CLS]和[SEP]詞元 53
3.2.7 激活BERT 詞元分析器 53
3.2.8 處理數據 54
3.2.9 防止模型對填充詞元進行注意力計算 54
3.2.10 將數據拆分為訓練集和驗證集 54
3.2.11 將所有數據轉換為torch張量 55
3.2.12 選擇批量大小並創建迭代器 55
3.2.13 BERT 模型配置 56
3.2.14 加載Hugging Face BERTuncased base 模型 57
3.2.15 優化器分組參數 59
3.2.16 訓練循環的超參數 59
3.2.17 訓練循環 60
3.2.18 對訓練進行評估 61
3.2.19 使用測試數據集進行預測和評估 62
3.2.20 使用馬修斯相關係數進行評估 63
3.2.21 各批量的分數 63
3.2.22 整個數據集的馬修斯評估 64
3.3 本章小結 64
3.4 練習題 65
第4 章 從頭開始預訓練RoBERTa模型 66
4.1 訓練詞元分析器和預訓練Transformer 67
4.2 從頭開始構建Kantai BERT 68
4.2.1 步驟1：加載數據集 68
4.2.2 步驟2：安裝HuggingFace transformers 庫 69
4.2.3 步驟3：訓練詞元分析器 70
4.2.4 步驟4：將詞元化結果保存到磁盤上 72
4.2.5 步驟5：加載預訓練詞元分析器文件 73
4.2.6 步驟6：檢查訓練用機器的配置：GPU 和CUDA 74
4.2.7 步驟7：定義模型的配置 75
4.2.8 步驟8：為Transformer模型加載詞元分析器 75
4.2.9 步驟9：從頭開始初始化模型 75
4.2.10 步驟10：構建數據集 79
4.2.11 步驟11：定義數據整理器 80
4.2.12 步驟12：初始化訓練器 80
4.2.13 步驟13：預訓練模型 81
4.2.14 步驟14：將最終模型( 詞元分析器 配置)保存到磁盤 81
4.2.15 步驟15：使用FillMask-Pipeline 進行語言建模 82
4.3 後續步驟 83
4.4 本章小結 83
4.5 練習題 84
第5 章 使用Transformer 處理下遊NLP 任務 85
5.1 Transformer 的轉導與感知 86
5.1.1 人類智能棧 86
5.1.2 機器智能棧 88
5.2 Transformer 性能與人類基準 89
5.2.1 評估模型性能的度量指標 89
5.2.2 基準任務和數據集 90
5.2.3 定義SuperGLUE 基準任務 94
5.3 執行下遊任務 99
5.3.1 語言學可接受性語料庫(CoLA) 99
5.3.2 斯坦福情緒樹庫(SST-2) 100
5.3.3 Microsoft 研究釋義語料庫(MRPC) 101
5.3.4 Winograd 模式 102
5.4 本章小結 102
5.5 練習題 103
第6 章 機器翻譯 104
6.1 什麼是機器翻譯 105
6.1.1 人類轉導和翻譯 105
6.1.2 機器轉導和翻譯 106
6.2 對WMT 數據集進行預處理 106
6.2.1 對原始數據進行預處理 107
6.2.2 完成剩餘的預處理工作 109
6.3 用BLEU 評估機器翻譯 112
6.3.1 幾何評估 112
6.3.2 平滑技術 114
6.4 Google 翻譯 115
6.5 使用Trax 進行翻譯 116
6.5.1 安裝Trax 116
6.5.2 創建原始Transformer模型 117
6.5.3 使用預訓練權重初始化模型 117
6.5.4 對句子詞元化 117
6.5.5 從Transformer解碼 118
6.5.6 對翻譯結果去詞元化並展示 118
6.6 本章小結 119
6.7 練習題 119
第7 章 GPT-3 120
7.1 具有GPT-3 Transformer模型的超人類NLP 121
7.2 OpenAI GPT Transformer模型的架構 122
7.2.1 10 億參數Transformer模型的興起 122
7.2.2 Transformer 模型擴大的歷史 123
7.2.3 從微調到零樣本 125
7.2.4 解碼器堆疊 126
7.2.5 GPT 引擎 127
7.3 使用GPT-2 進行文本補全 127
7.4 訓練自定義GPT-2 語言模型 129
7.5 使用OpenAI GPT-3 131
7.5.1 在線運行NLP 任務 131
7.5.2 GPT-3 引擎入門 133
7.6 比較GPT-2 和GPT-3 的輸出 138
7.7 微調GPT-3 139
7.7.1 準備數據 139
7.7.2 微調GPT-3 140
7.8 工業4.0 AI 專家所需的技能 141
7.9 本章小結 142
7.10 練習題 143
第8 章 文本摘要(以法律和財務文檔為例) 144
8.1 文本到文本模型 145
8.1.1 文本到文本Transformer模型的興起 145
8.1.2 使用前綴而不是任務格式 146
8.1.3 T5 模型 147
8.2 使用T5 進行文本摘要 149
8.2.1 Hugging Face 149
8.2.2 初始化T5-large模型 150
8.2.3 使用T5-large 進行文本摘要 153
8.3 使用GPT-3 進行文本摘要 158
8.4 本章小結 159
8.5 練習題 160
第9 章 數據集預處理和詞元分析器 161
9.1 對數據集進行預處理和詞元分析器 162
9.1.1 最佳實踐 162
9.1.2 Word2Vec 詞元化 165
9.2 深入探討場景4 和場景5 174
9.2.1 使用GPT-2 生成無條件樣本 174
9.2.2 生成條件樣本 176
9.2.3 控制詞元化數據 177
9.3 GPT-3 的NLU 能力 180
9.4 本章小結 181
9.5 練習題 181
第10 章 基於BERT 的語義角色標注 183
10.1 SRL 入門 184
10.1.1 語義角色標注的定義 184
10.1.2 使用基於BERT 的預訓練模型進行SRL 185
10.2 基於BERT 模型的SRL
實驗 186
10.3 基本示例 187
10.3.1 示例1 187
10.3.2 示例2 189
10.3.3 示例3 191
10.4 複雜示例 193
10.4.1 示例4 193
10.4.2 示例5 195
10.4.3 示例6 196
10.5 SRL 的能力範圍 197
10.5.1 謂語分析的局限性 198
10.5.2 SRL 局限性的根本原因 199
10.6 本章小結 200
10.7 練習題 201
第11 章 使用Transformer 進行問答 202
11.1 方法論 203
11.2 方法0：試錯法 204
11.3 方法1：NER 206
11.4 方法2：SRL 211
11.4.1 使用ELECTRA 進行問答 213
11.4.2 項目管理約束 214
11.4.3 通過SRL 查找問題 215
11.5 後續步驟 219
11.5.1 使用RoBERTa 模型探索Haystack 220
11.5.2 使用GTP-3 引擎探索問答 221
11.6 本章小結 222
11.7 練習題 222
第12 章 情緒分析 224
12.1 入門：使用Transformer進行情緒分析 225
12.2 斯坦福情緒樹庫(SST) 225
12.3 通過情緒分析預測客戶行為 229
12.3.1 使用DistilBERT 進行情緒分析 229
12.3.2 使用Hugging Face 的其他模型進行情緒分析 231
12.4 使用GPT-3 進行情緒分析 235
12.5 工業4.0 依然需要人類 236
12.5.1 使用SRL 進行調查 237
12.5.2 使用Hugging Face進行調查 238
12.5.3 使用GPT-3 playground進行調查 240
12.6 本章小結 242
12.7 練習題 243
第13 章 使用Transformer 分析假新聞 244
13.1 對假新聞的情緒反應 245
13.2 理性處理假新聞的方法 250
13.2.1 定義假新聞解決路線圖 251
13.2.2 槍支管控辯論 252
13.2.3 美國前總統特朗普的推文 260
13.3 在我們繼續之前 262
13.4 本章小結 262
13.5 練習題 263
第14 章 可解釋AI 264
14.1 使用BertViz 可視化Transformer 265
14.2 LIT 268
14.2.1 PCA 269
14.2.2 運行LIT 269
14.3 使用字典學習可視化Transformer 271
14.3.1 Transformer 因子 271
14.3.2 LIME 272
14.3.3 可視化界面 273
14.4 探索我們無法訪問的模型 276
14.5 本章小結 277
14.6 練習題 278
第15 章 從NLP 到計算機視覺 279
15.1 選擇模型和生態系統 280
15.2 Reformer 281
15.3 DeBERTa 283
15.4 Transformer 視覺模型 285
15.4.1 ViT – Vision Transformer 285
15.4.2 CLIP 289
15.4.3 DALL-E 294
15.5 不斷擴大的模型宇宙 297
15.6 本章小結 298
15.7 練習題 299
第16 章 AI 助理 300
16.1 提示工程 301
16.1.1 具有有意義上下文的非正式英語 302
16.1.2 轉喻和多義 303
16.1.3 省略 303
16.1.4 模糊上下文 304
16.1.5 引入傳感器 305
16.1.6 有傳感器但沒有可見上下文 305
16.1.7 沒有上下文的正式英語會話 306
16.1.8 提示工程訓練 306
16.2 Copilot 307
16.3 可以執行領域特定任務的GPT-3 引擎 309
16.3.1 為ML 算法提供嵌入 309
16.3.2 生成一系列操作指示 315
16.3.3 內容過濾器 316
16.4 基於Transformer 的推薦系統 317
16.4.1 通用序列 317
16.4.2 使用MDP 和RL 生成的數據集模擬消費者行為 319
16.5 計算機視覺 323
16.6 數字人和元宇宙 325
16.7 本章小結 326
16.8 練習題 326
第17 章 ChatGPT 和GPT-4 327
17.1 超越人類NLP 水平的Transformer 模型：ChatGPT和GPT-4 328
17.1.1 如何充分理解本章 328
17.1.2 誰擁有AI 生成內容的版權 329
17.2 ChatGPT API 332
17.3 使用ChatGPT Plus 編寫程序並添加注釋 334
17.3.1 設計提示 334
17.3.2 使用ChatGPT Plus編寫代碼 335
17.3.3 ChatGPT Plus 繪製輸出結果 336
17.4 GPT-4 API 337
17.4.1 示例1：使用GPT-4幫助解釋如何編寫代碼 337
17.4.2 示例2：GPT-4 創建一個函數來展示Greg Brockman 於2023 年3月14 日的GPT-4 的YouTube 演示 338
17.4.3 示例3：GPT-4 創建一個用於展示WikiArt 圖像的應用程序 338
17.4.4 示例4：GPT-4 創建一個用於展示IMDb 評論的應用程序 339
17.4.5 示例5：GPT-4 創建一個用於展示新聞源的應用程序 340
17.4.6 示例6：GPT-4 創建一個k-means 聚類(kmc)算法 341
17.4.7 示例7：GPT-4 關於GPT-4 和GPT 模型架構的對話 341
17.5 高級示例 342
17.5.1 步驟1：為ChatGPT和GPT-4 構建知識庫 343
17.5.2 步驟2：添加關鍵詞和解析用戶請求 343
17.5.3 步驟3：構建引導ChatGPT 的提示 344
17.5.4 步驟4：內容審核和質量控制 344
17.6 可解釋AI(XAI)和Whisper語音模型 345
17.7 使用DALL-E 2 API入門 349
17.7.1 創建新圖像 349
17.7.2 創建圖像的變體 350
17.8 將所有內容整合在一起 351
17.9 本章小結 352
17.10 練習題 353
——以下資源可掃描封底二維碼下載——
附錄A Transformer 模型術語 354
附錄B Transformer 模型的硬件約束 356
附錄C 使用GPT-2 進行文本補全 362
附錄D 使用自定義數據集訓練GPT-2 模型 371
附錄E 練習題答案 380
參考資料 392