LLMOps

「使用 AI 來開發應用程式日益簡單，但在將 LLM 部署到生產環境時，才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的 LLMOps，並成功部署大型語言模型的重要指南。本書以清楚、可行的解決方案，幫助讀者將 LLM 原型轉化為穩定、可投入生產的 AI 系統，是一本不可或缺的讀物。」 ―― Ammar Mohanna，EDT&Partners 首席 AI 顧問暨貝魯特美國大學講師 「本書透過清楚、可實作的指導揭開 LLMOps 的神秘面紗。這本完美的資源非常適合機器學習工程師、平台團隊，以及想將 LLM 從原型推向生產環境的所有人。」 ―― Nirmal Budhathoki，微軟資深資料科學家 大型語言模型的一大特點，是它們不再依循舊規則。在運行 GenAI 時，傳統的 MLOps 幾乎無助於事，模型會產生幻覺、安全假設不再成立、監視機制失靈、agent 可能無法正常運作，你會突然進入一片未知的領域。這就是 LLMOps 成為一個獨立領域的原因。 本書將帶領你在真正的使用者面前，以及在現實的商業環境中成功運行這些系統。本書不會教你做出華麗的 demo，而是教你讓 LLM 系統在現實世界中穩定運作。 • 掌握運作 LLM 所需的新角色與流程 • 在傳統指標無法全面反映效能時，監視 LLM 的實際表現 • 針對 GenAI 設計真正有意義的評估、治理、安全稽核機制 • 管理 agent、RAG 系統，與不斷演變的提示詞帶來的營運混亂 • 擴展基礎設施，並且控制運算成本

結合架構思維與實務帶你從 0 到 1 完整理解如何實作 AI Agents 專案本書著重於「流程與架構」，提供一套通用的邏輯與方法，協助個人或企業依照自身需求將生成式 AI 技術實際應用於專案中。本書涵蓋生成式 AI 應用的兩大面向：生成式 AI 模型和檢索增強生成（RAG），內容包含大型語言模型（LLM）、模型選擇、部署、RAG 技術到 AI Agent 整合的完整流程，並深入淺出地講解生成式 AI 的核心概念和實務技巧，讓讀者能夠快速上手，將生成式 AI 技術應用於各種實際場景。本書特色❏ 基本概念與實務應用介紹生成式 AI 的基礎知識、大型語言模型、模型服務上線，以及 DevOps 和 MLOps 實務。❏ RAG 技術深度解析與應用深入探討檢索增強生成（RAG）技術，包括知識庫建置、進階檢索方法，以及與 AI Agent 的整合應用。❏ 導入策略與未來展望分析生成式 AI 技術的導入方法、模型與系統評估，以及未來發展方向。重點內容｜生成式 AI 基礎與模型選擇｜。生成式 AI 的基本概念與介紹。大型語言模型（LLM）的介紹與使用方法（閉源與開源）。評估模型能力，並建立可用的 AI 服務｜LLMOps 與模型部署｜。DevOps 與 MLOps 簡介。LLMOps - LLM for DevOps 方法與流程。透過 DevOps 進行生成式 AI 專案的流程再造｜檢索增強生成（RAG）技術｜。RAG 的概念與運作方式，結合檢索與生成提升 AI 準確度。知識庫管理：如何建立、維護與擴充向量資料庫。核心技術解析：Embedding Vector、Chunking、Metadata｜進階 RAG 服務與系統架構｜。RAG 服務架構與系統建置。RAG 優化方法：GraphRAG、CAG 等進階技術。如何衡量 RAG 模型的準確性與效能｜AI Agent 的整合與應用｜。AI Agent 的概念與架構。AI Agent 工作流程（Agentic AI Workflow）。RAG-base AI Agent 的應用場景專業推薦生成式 AI 的革命性，在於它徹底民主化了創作過程，將門檻降至近乎零的程度。然而，這種便利性也帶來了挑戰，我們比以往任何時候都更需要一套系統化的架構思維，將雜訊轉化為有序，實現戰略性的技術整合與部署。本書正是這樣一本架構思維與技術實踐的結合。它不滿足

▋ 人工智慧正以驚人的速度演進，而大型語言模型已成為這場革命的核心關鍵 ▋本書不只是介紹理論；它帶你走進真實工程場景，教你如何設計、訓練、優化與部署 LLM，並結合 MLOps 的專業流程，打造真正能落地的端到端解決方案。透過完整的 LLM Twin 實戰案例，你將學會建構具成本效益、可擴展、模組化的系統架構，跳脫 Notebook 和 Colab 實驗的限制，把模型真正推向生產環境。在學習過程中，你將掌握資料流程設計、RAG、監督式微調、偏好對齊、即時資料處理、推論最佳化等關鍵技術，並能將 CI/CD、監控、版本管理 等 MLOps 元件靈活融入自己的專案。這不僅讓你理解 LLM 的運作，更讓你具備「打造專業級 AI 系統」的實戰能力。讀完本書，你將能從 0 到 1 建立自己的 LLM、能處理真實世界的資料、能在生產環境長期穩定運作、能持續優化並快速迭代。無論你是 AI 新手或已有多年經驗的工程師，本書都能帶來全新的理解、視野與技術深度，讓你真正跨入 LLM 工程師的境界。✦✦✦◤全球好評指標◢★ Amazon 4.6 顆星好評，榮登人工智慧相關類別 #1 暢銷榜★ 作者在 Github 儲存庫上提供的本書學習資源，累計已獲 4,400+ stars 關注◤技術領袖一致推薦!◢★ 「本書讓更多人能夠進一步調整、微調、量化模型，並使其足夠高效以應用於真實世界。」 ─ Julien Chaumond｜Hugging Face 共同創辦人暨技術長★ 「以具體範例與明確指導，說明如何最佳化推論流程與有效部署 LLM，使其成為研究人員與實務工程師皆能受益的重要參考書。」 ─ Antonio Gulli｜Google 技術長辦公室資深總監暨傑出工程師★ 「在 AI 以前所未有的速度重塑各行各業的當下，《LLM 工程師開發手冊》是帶領讀者掌握大型語言模型複雜性的關鍵指南。」 ─ Hamza Tahir｜ZenML 共同創辦人暨技術長★ 「提供一套精良的框架，協助讀者掌握 LLM 工程，並成功銜接機器學習研究、AI 工程與 LLMOps 之間的落差。」 ─ Gideon Mendels｜CometML 共同創辦人暨執行長★ 「這本書全面涵蓋了從 LLM 設計、部署到優化的實務指南...。若你對 LLM 充滿熱情，這絕對是一本必讀之作。」 ─ Akshit Bhalla｜Tesla