深智數位

★從0開始打造自己的LLM★動手實作中英文都通的ChatGLM★PyTorch 2完整實作NLP★各種神經網路實作：CNN、RNN、GRU、Transformer、BERT、GPT★預訓練模型、編碼器、解碼器、Seq2Seq2★獎勵模型的RLHF、PPO、Rewarded Model★LLM在專業領域的應用：金融、醫療★使用PEFT、LORA等Huggingface函式庫進行LLM的Finetune大型語言模型是深度學習自然語言處理皇冠上的一顆明珠，也是當前AI和NLP研究與產業中最重要的方向。全書使用PyTorch 2.0作為學習大型語言模型的基本框架，以中英文通曉的ChatGLM為範例，詳細講解大型語言模型的基本理論、演算法、程式實現、應用實戰以及微調技術，完整演示大型語言模型開發技術。全書共18章，內容包括人工智慧與大型語言模型、PyTorch 2.0深度學習環境搭建、從零開始學習PyTorch 2.0、深度學習基礎演算法詳解、以PyTorch卷積層為基礎的的MNIST分類實戰、PyTorch資料處理與模型展示、ResNet實戰、有趣的詞嵌入、PyTorch循環神經網路的中文情感分類實戰、自然語言處理的編碼器、預訓練模型BERT、自然語言處理的解碼器、強化學習實戰、只具有解碼器的GPT-2模型、實戰訓練自己的ChatGPT、開源大型語言模型ChatGLM使用詳解、ChatGLM高級定制化應用實戰、對ChatGLM進行高級微調。

?剖析 DeepSeek 核心架構與 MLA 注意力模組?系統講解 MoE 混合專家模型的設計與調度?建構完整的 PyTorch 多模態開發環境?從基礎到進階掌握自注意力與位置編碼原理?實作自回歸架構下的文字生成與情感分類?探討 GQA、MQA、差分注意力等調優策略?整合 API 調用與應用場景中的任務鏈設計?部署本地多模態模型並實作 LoRA 微調?實戰多模態圖文問答與交叉注意力語音轉換?實現 Token 壓縮與特徵融合技術於影像識別?使用 VQ-VAE 與 FSQ 進行影像與語音重建?完整開發跨平台智慧客服應用與 UI 前端整合本書重點在於多模態大模型 DeepSeek 的核心技術架構，深入解析其高效注意力機制（如MLA、MQA、GQA）與混合專家模型（MoE）在實際應用中的設計與優化策略。內容涵蓋從PyTorch環境建置、API串接到LoRA/PEFT微調等多個開發環節，並透過情感分類、語音辨識、圖文問答、影像生成等跨模態實例，具體展示各模組在不同任務中的運行特性與效能差異。書中對於特徵融合策略、位置編碼設計、token壓縮方法等議題也有細緻探討，尤其在調優章節中，對各類注意力變種模型的適用條件與實作瓶頸提供實證分析。對於希望深入理解高性能Transformer架構、多模態任務建模及部署流程的開發者與研究者而言，本書可作為技術參考與實作指南。