網路計算環境：體系結構（簡體書）

網格技術作為支撐現代科學活動的重要手段，受到了人們的
普遍重視。然而，構造一個實用的網格系統并不是一件容易的事
情，面臨諸多的技術挑戰。《網絡計算環境：體系結構》試圖從體系結構的角度來描述一
個網格系統所應該具有的各種元素及所提供的功能，為開發者提
供參考。《網絡計算環境：體系結構》首先介紹了網格的三種典型架構，即五層沙漏結構、
開放網格服務架構和面向服務的網格體系。其次，從理論的角度
探討了不同網格系統的統一描述。最后從實現的角度，對元信息
服務、監控服務、數據管理、執行管理及安全服務等網格系統的
關鍵部件進行了剖析。

《網絡計算環境：體系結構》可供網絡計算相關領域的科研技術人員參考，也可供相
關專業的研究生、本科生閱讀。

前言
第 1章現代科學活動環境與網格技術綜述1
1.1 現代科學活動的特點及要求 1
1.2 網格概念的提出與發展 2
1.3 網格的特點 3
1.4 網格在國內外的發展現狀 4
1.5 網格面臨的挑戰6
1.6 與網格有關的標準和組織 8
參考文獻9
第 2章五層沙漏結構 11
2.1 網格體系結構 11
2.2 沙漏結構的基本理念 12
2.3 沙漏結構詳述 15
2.3.1 構造層 15
2.3.2 連接層 16 前言
第 1章現代科學活動環境與網格技術綜述1
1.1 現代科學活動的特點及要求 1
1.2 網格概念的提出與發展 2
1.3 網格的特點 3
1.4 網格在國內外的發展現狀 4
1.5 網格面臨的挑戰6
1.6 與網格有關的標準和組織 8
參考文獻9
第 2章五層沙漏結構 11
2.1 網格體系結構 11
2.2 沙漏結構的基本理念 12
2.3 沙漏結構詳述 15
2.3.1 構造層 15
2.3.2 連接層 16
2.3.3 資源層 16
2.3.4 匯聚層 17
2.3.5 應用層 17
參考文獻 18
第 3章開放網格服務架構 19
3.1 SOA 19
3.1.1 概念辨識 19
3.1.2 架構描述 20
3.1.3 服務的類型與接口 20
3.1.4 SOA的特點 22
3.2 Web服務 23
3.2.1 SOAP 23
3.2.2 WSDL 25 3.2.3 UDDI 26
3.3 OGSA的基本理念 27
3.4 結構示意 28
3.4.1 資源層 28
3.4.2 Web服務層 29
3.4.3 OGSA架構服務層 30
3.4.4 應用程序層 31
3.5 OGSA中的服務接口 31
3.6 OGSA的核心服務 32
3.6.1 執行管理服務 32
3.6.2 數據服務 33
3.6.3 資源管理服務 33
3.6.4 安全服務 34
3.6.5 自管理服務 34
3.6.6 信息服務 35
參考文獻 35
第 4章面向服務的網格體系 37
4.1 基本理念 37
4.1.1 以服務為中心 37
4.1.2 采用統一的 Web服務框架 38
4.2 層次結構 39
4.2.1 物理和邏輯資源層 39
4.2.2 Web服務適配層 39
4.2.3 標準網格服務層 39
4.2.4 網格應用層 40
4.3 運行環境 40
4.3.1 簡單運行環境 40
4.3.2 虛擬運行環境 40
4.3.3 組操作環境 41
4.4 網格的功能模塊 41
4.5 網格的執行流程 43
4.5.1 作業的類型 43
4.5.2 作業的執行模型 43
4.5.3 作業的執行流程 45
4.6 參考實現： CGSP 47
參考文獻 48
第 5章數學基礎 50
5.1 實體與本體 50
5.2 虛擬化與代數系統 50
5.3 類型代數與商代數 52
5.4 同型與異構性 54
第 6章網格標準的理論描述 56
6.1 描述要點 56
6.1.1 資源相關的標準 57
6.1.2 工作流相關的標準 58
6.1.3 日志相關的規范 64
6.1.4 通知與資源的動態管理 65
6.2 握手與通道 65
6.3 本地代理 66
6.4 移動性 67
6.5 程序設計 67
6.6 與外網的連接 68
第 7章元信息服務 70
7.1 概述 70
7.2 功能架構 71
7.2.1 總體描述 71
7.2.2 MDS 72
7.2.3 MCAT 73
7.2.4 MCS 74
7.3 模塊描述 76
7.3.1 元信息提供者及信息類型 76
7.3.2 元信息服務模型 76
7.3.3 元信息服務組件 79
參考文獻 81
第 8章監控服務 82
8.1 概述 82
8.2 技術難點 83
8.3 常用監控模型與系統分類 84
8.3.1 常用監控模型 84
8.3.2 監控系統分類 87
8.4 監控系統的標準架構 88
8.5 網格監控標準的參考實現： CGSV 90
參考文獻 92
第 9章數據管理 94
9.1 概述 94
9.2 GT4中的數據管理 95
9.3 關鍵技術 96
9.3.1 GridFTP 96
9.3.2 RFT 99
9.3.3 RLS 101
9.3.4 DAI 102
9.4 其他數據管理系統 107
9.4.1 SRM 107
9.4.2 SRB 109
9.5 數據管理技術應用示例 110
參考文獻 113
第 10章執行管理 115
10.1 概述 115
10.2 執行管理剖析 116
10.3 作業需求描述 118
10.4 資源分配與作業調度 121
10.4.1目標 121
10.4.2調度模型 122
10.4.3資源分配模型 123
10.5 典型的執行管理系統 127
10.5.1 GRAM 127
10.5.2 GARA 128
10.5.3 Condor 130
10.5.4 GRACE 131
10.5.5 CGSP的執行管理 132
參考文獻 135
第 11章安全服務 137
11.1概述 137
11.2安全技術基礎 138
11.2.1 PKI 138
11.2.2 TLS 140
11.2.3 SAML 141
11.2.4 Web服務安全 143
11.3網格安全基礎設施 143
11.3.1 GSI概覽 143
11.3.2相互認證 144
11.3.3安全通信 145
11.3.4授權 145
11.3.5委托與單點登錄 146
11.4 GOS安全機制 147
11.4.1基本概念 147
11.4.2安全體系 147
11.4.3認證的實現 148
11.4.4授權的實現 149
11.4.5通信安全的實現 150
參考文獻 150

顯示全部信息

第 1章<br> 從英國的 e-Science項目開始，網格成為支撐現代科學活動的核心技術，獲得了蓬勃的發展。本章從現代科學活動的特點及要求出發，對網格技術的歷史、發展現狀、面臨的挑戰等作一個概括而又全方位的介紹。 <br> 1.1 現代科學活動的特點及要求<br> 科學研究是人類的一種認識和實踐活動，其昀基本的特點是創造性和探索性。現代科學活動始于 20世紀初的物理學革命，其突出特點表現在以下八個方面[1]。 <br> (1)科學研究的領域和對象逐漸向微觀和宏觀各層次深入，對過程、結構和功能多個方面進行完整研究。 <br> (2)科學研究的內容具有學科交叉的性質，學科之間的橫向和縱向聯系更加緊密。 <br> (3)科學研究的組織形式更加多樣，集體研究成為科學研究的主要形式，科學研究成為一種重要的社會職業部門或社會建制，科研人員的數目劇增，形成龐大的科研隊伍。 <br> (4)科學研究的方法和手段越來越依賴于昀新的復雜技術裝備，信息技術、網絡技術等廣泛應用于科學研究的各個領域，呈現出科學技術化的趨勢。 <br> (5)科學研究的成果迅速轉化和擴散，使得基礎研究、應用研究和開發研究三者之間的界限越來越模糊，政府、企業和科研機構之間的關系更加緊密，呈現出科學產業化的趨勢。 <br> (6)科學技術已經滲透到社會生活的各個領域，更加強調與國家經濟、安全和可持續發展的目標緊密結合；同時科學研究的實驗設備日益龐大和昂貴，對社會的人力、物力和資金的需求也不斷加大，呈現出科學社會化的趨勢。 <br> (7)科技資源的配置在全球范圍內進行，科技成果的評價和應用也在全球范圍內進行和流動，國際科技合作與交流迅速增加，科學研究呈現出全球化的特征。 <br> (8)科學研究的質量控制既要關注研究工作的潛在應用，更要考慮研究成果的可使用性、成本效益和社會可接受性等，而且更加強調科學家的社會責任，并把倫理標準納入科學研究的行為規范之中。<br> 現代科學活動的這些特點越來越需要知識和技術的結合、相關學科信息的共享和多種科研資源的協同工作。因此，如何協同分散在各地的大量科研資源來完成各種復雜科研問題的求解已成為一個至關重要的問題，于是網格技術應運而生。 <br> 1.2 網格概念的提出與發展<br> 網格(Grid)技術正是為解決跨組織、跨地域的大規模資源共享和協作問題而提出的一種新方法。網格昀早是借助電力網的概念提出的：就像人們使用電力而不用知道電力從哪里來、怎么來一樣，人們在使用網格提供的計算力的時候也無需知道提供“計算力”的資源的位置、互聯方式等細節問題。網格問題被形象地定義為在個人、組織機構、互聯資源(計算設備、網絡、在線儀器設備、存儲設備等)的動態集合上實現靈活、安全、透明、協同的資源共享。網格研究試圖將一組通過高速網絡連接起來的異構的資源聚合起來，作為一個整體計算環境，透明地向用戶提供各類高性能計算服務。其昀終目標是希望計算機一旦接入網絡就能獲取源源不斷的計算能力。<br> 從狹義上來講，網格被稱為計算網格( Computational Grid)，由元計算 (Metacomputing) [2]的概念發展而來。在昀開始的時候，元計算的目標是把各個獨立的超級計算機或網絡上的閑置計算機資源集合起來，成為一個整體來為科學計算提供強大的超級計算服務。隨著網絡環境及網絡應用需求的多樣化，單純的超級計算服務已經無法滿足這種需求，在這個背景下，人們引入了網格的概念。網格之父 Ian Foster在文獻[3]中給出的描述是：計算網格是一個能夠為人們提供可靠的、一致的、普適并且廉價的高端計算能力的軟、硬件平臺。<br> 從廣義上來講，網格就是一個集成的計算與資源環境，或者說是一個計算資源池，它能夠充分吸納各種不同類型的計算資源，將它們轉化為一種可靠的、易得的和標準的計算能力。在這種廣義的定義下，網格中的資源包括了各種類型的計算機、網絡通信能力、數據資料、儀器設備等。實際上，廣義的網格概念就是我們平常所說的網格計算( Grid Computing)，Ian Foster等在文獻[4]中給出的描述是：網格的概念就是在動態、多機構虛擬組織之間的協調的資源共享和問題解決。<br> 網格技術的發展經歷了如圖 1-1所示的幾個主要階段[5]。 <br> 20世紀 80年代中后期，為了滿足科研活動對新的高性能計算技術的需要，網格計算的前身——元計算 [2]開始受到人們的關注。元計算又被稱為網絡虛擬超級計算機。著名的 Globus項目在 1995年啟動時昀初的目的也是提供一個元計算工具包[6]。SETI[7]和 Conder[8]都是這一時期的代表性研究成果。<br> 到 20世紀 90年代中期，元計算的概念逐漸被從“電力網格”中借鑒來的“計算網格”的概念取代。然而，這一時期的網格技術研究項目大多是各自為政，沒有一個統一的指導思想和規范。Globus Toolkit較早的兩個主要版本 1.0和 2.0分別在 1998年和 2001年發布。它們都基于 C語言來實現，其中 GT 2.0 的影響比較大，被 LHC Grid和 Tera Grid等著名網格采用。 <br> 2001年，與網絡多層體系結構類似的沙漏型多層體系結構被引入網格中。同年，GGF成立。GGF及其繼承者——開放網格論壇( Open Grid Forum, OGF)[9]隨后積極推動網格技術標準和規范的建立。2002年，GGF會議上提出 OGSA [10]和開放網格服務基礎設施( open grid services infrastructure, OGSI)[11]。這兩個規范的提出使得網格技術正式走入面向服務的時代。OGSA的提出統一了網格系統的體系結構，規范了網格的重要功能和關鍵組件。OGSI提出了有狀態網格服務的概念。面向服務思想的引入簡化了網格資源之間的訪問界面和協議，方便了資源之間的互操作[12]。Globus Toolkit 3遵循 OGSA體系架構，并實現了 OGSI中定義的網格服務標準。<br> 然而，由于 Web服務技術具有更大的影響力及在工業界更高的支持度， OASIS[13]提出的 Web服務資源框架( web services resource framework, WSRF)[14]在 2004年后逐漸代替了 OGSI。WSRF的提出標志著網格技術與 Web服務技術的昀終結合。新的 Globus Toolkit 4 即實現了基于 WSRF標準的網格服務。 <br> 1.3 網格的特點<br> 一般來說，網格解決的問題有三個特征。 <br> (1)資源的異構性。網格中可以用來共享的資源有著極其廣泛的類型，包括網絡資源、計算資源、存儲資源、數據資源等。同一種資源也往往有著不同的表現形式和實現方式，如作業系統的 PBS (Portable Batch System)和 LSF (Load Sharing Facility)，傳輸協議中的文件傳輸協議( file transfer protocol, FTP)和超文本傳輸協議(hyper text transfer protocol, HTTP)等。類別不同的資源通過網格進行互聯，解決了它們之間的通信和互操作問題。<br> (2)管理的自治性。網格的資源往往來自不同的物理單位和組織，各個單位和組織對自己的資源大都存在著特定的策略，這就要求網格在進行資源整合的同時，盡量保留這種管理上的自治性，這也是廣義網格概念中“協調的資源共享”的真正含義——需要協調不同單位和組織的資源組織和管理策略。 <br> (3)行為的動態性。雖然相比于現在比較流行的 P2P (Peer-to-Peer)系統，網格系統一般來說穩定得多，但是網格畢竟是在一個廣域網環境下的大規模、分布式的系統，所以動態性是不可避免的。這種動態性主要體現為節點資源的加入和退出，以及應用的不斷增長。<br> 針對這些問題特性，網格作了針對性的設計。與傳統的分布式系統相比，網格具有如下技術特征和優勢。 <br> (1)資源共享，消除資源孤島。網格能夠實現資源共享，消除信息孤島，實現應用程序的互聯互通。網格與計算機網絡不同，計算機網絡實現的是一種硬件的連通，而網格能實現應用層面的連通。 <br> (2)協同工作。網格提供了一個無縫的、集成的計算與協作環境，很多網格結點可以共同處理一個項目。此外，網格還支持跨組織、跨學科，涉及大規模資源共享的協作活動，如 Access Grid本質上就是一個大規模的電子會議和分布式會議平臺。昀后，網格還能實現更高層次的協同處理，美軍的全球信息網格( Global Information Grid, GIG)計劃是這方面的一個典型例子。 <br> (3)通用開放標準、非集中控制、非平凡服務質量。這是 Ian Foster在 2002年提出的網格檢驗標準，其中通用開放標準將網格與 P2P系統區分開來，非集中控制將網格與集群區分開來，而非平凡服務質量則將網格與 Web區分開來。網格是基于國際的開放技術標準，這跟以前很多行業、部門或公司推出的軟件產品不一樣。 <br> (4)動態功能，高度可擴展性。網格可以提供動態的服務，能夠適應變化：新的應用可以動態地被部署到網格系統中，形成新的服務；已有的服務也可以根據需要組合起來，對外提供新的功能，從而滿足變化的應用需求。同時，網格并非限制性的，它實現了高度的可擴展性，新的資源可以動態地加入，已有的資源也可以隨時退出。 <br> 1.4 網格在國內外的發展現狀<br> 進入 21世紀，網格的概念日益被人們熟知，相應的技術也逐漸走向成熟。在這一情形下，全球網格建設蓬勃發展，得到了各國政府和產業界的大力支持。在 21世紀的昀初十年里，網格技術的研究與應用呈現出如下一些特點。 <br> 政、產、學、研各界積極參與，網格建設和應用蓬勃發展，特別是建設網格信息基礎設施已成為世界各國政府的共同目標。美國、日本，以及歐洲各國政府支持了數十個大型的網格研究和開發項目，下面是其中的一些代表性項目及其投入計劃。 <br> (1)美國： Tera Grid、OSG(Open Science Grid)，Cyberinfrastructure等，2000～ 2005年投入約 5億美元，2006～2010年投入約 6.5億美元。 <br> (2)歐盟：e-Infrastructure、EGEE (Enabling Grids for e-Science in Europe)、 OMII(Open Middleware Infrastructure Institute)等，第六框架投入 2.5億歐元、第七框架投入 6.5億歐元。 <br> (3)英國： e-Science網格(2000～2006年，投入 2.5億英鎊)。 <br> (4)德國： D-Grid(2003～2007年，投入 1億美元)。 <br> (5)日本：國家科研網格 Naregi(2003～2007年，投入約 1.2億美元，主要是網格軟件的開發)， Cyber Science Infrastructure(2006～2011年，投入 10億美元)。 <br> (6)韓國： KGrid(2002～2006年，0.32億美元)； e-Science網格( 2007～2011年)。 <br> (7)中國：科學技術部資助了中國國家網格( China National Grid, CNGrid)，至 2010年年底已完成二期的研發與應用工作；教育部資助了中國教育科研網格 (ChinaGrid)，一期建設工作于 2006年結束，目前，正在進行二期建設；國家自然科學基金委員會資助了“以網絡為基礎的科學活動環境”( NSFGrid)等，整個重大專項將于近期結題。<br> 除了眾多學術機構在進行網格方面的研究之外，業界許多公司已認識到網格所帶來的巨大應用前景和商業價值，紛紛投入巨資開展服務網格的研究并大力推廣網格服務的商業化。Sun在 2000年就啟動了以網格引擎( Grid Engine)分布式資源管理軟件為基礎的開放源代碼戰略。IBM宣布在網格計算領域投資 40億美元，已在全球建設 40家數據中心，從而正式進入網格計算領域。另外， IBM還進一步推出 On Demand Computing計劃，打算整合其包括硬件、存儲、網絡計算在內的 IT基礎設施，針對企業級的 IT應用及業務流程變革，提供一種前所未有的按需使用的綜合服務