網路計算環境：資料管理（簡體書）

《網絡計算環境：數據管理》系統講述以網絡為基礎的科學活動環境中的數據管理技術。《網絡計算環境：數據管理》由概論、非結構化數據管理、結構化數據管理、應用實例四大部分組成，包括數據管理背景、數據管理需求與挑戰、數據管理體系結構、數據存儲、元數據管理、數據傳輸、存儲資源管理、數據管理標準、OGSA-DAI、異構數據庫整合、高能物理網格數據管理、虛擬天文臺數據管理12 章。

《網絡計算環境：數據管理》取材廣泛，內容系統，集成了多種網絡數據管理技術，反映了國內外前沿技術發展，可供廣大網絡計算及相關領域的科研和技術人員閱讀參考。

前言
第1章 緒論
1.1 煤礦瓦斯災害現狀
1.2 煤體瓦斯吸附解吸擴散理論和實驗研究現狀
1.2.1 煤體瓦斯吸附解吸擴散實驗研究現狀
1.2.2 煤體瓦斯吸附理論研究現狀
1.2.3 煤體瓦斯解吸擴散理論研究現狀
1.2.4 煤對多元氣體的吸附研究現狀
1.3 煤體瓦斯滲流理論和實驗研究現狀
1.3.1 煤體瓦斯滲流實驗研究現狀
1.3.2 煤體瓦斯滲流理論研究現狀
1.4 本書研究內容
第2章 煤體瓦斯吸附微觀機理
2.1 瓦斯的性質及微觀特性
2.2 煤的結構及微觀特征 前言
第1章 緒論
1.1 煤礦瓦斯災害現狀
1.2 煤體瓦斯吸附解吸擴散理論和實驗研究現狀
1.2.1 煤體瓦斯吸附解吸擴散實驗研究現狀
1.2.2 煤體瓦斯吸附理論研究現狀
1.2.3 煤體瓦斯解吸擴散理論研究現狀
1.2.4 煤對多元氣體的吸附研究現狀
1.3 煤體瓦斯滲流理論和實驗研究現狀
1.3.1 煤體瓦斯滲流實驗研究現狀
1.3.2 煤體瓦斯滲流理論研究現狀
1.4 本書研究內容
第2章 煤體瓦斯吸附微觀機理
2.1 瓦斯的性質及微觀特性
2.2 煤的結構及微觀特征
2.2.1 煤的化學結構
2.2.2 煤的物理結構
2.2.3 煤吸附瓦斯相關基本物性參數測試
2.3 煤吸附瓦斯的微觀機理
2.3.1 煤吸附瓦斯的機理
2.3.2 煤吸附瓦斯的微觀作用力
2.3.3 礦井瓦斯氣體與煤表面分子間力的分析
2.4 煤體吸附瓦斯的過程
2.4.1 煤體吸附瓦斯的過程
2.4.2 吸附速率方程
2.5 小結
第3章 煤體瓦斯吸附實驗方法
3.1 測試方法
3.1.1 測試方法
3.1.2 目前煤的甲烷吸附量測定的幾個標準對比分析
3.1.3 測試方法選擇
3.2 實驗系統
3.2.1 現有的實驗系統
3.2.2 實驗系統研制
3.2.3 實驗裝置功能
3.2.4 實驗裝置的標定
3.3 瓦斯吸附實驗
3.3.1 實驗準備
3.3.2 實驗步驟
3.3.3 數據處理
3.3.4 實驗結果
3.4 實驗結果分析
3.4.1 煤的變質程度
3.4.2 煤中的水分
3.4.3 瓦斯壓力
3.4.4 吸附溫度
3.4.5 煤巖的顯微組分
3.5 小結
第4章 煤體對多元氣體的吸附實驗
4.1 煤體對單一氣體的吸附結果分析
4.2 多組分吸附實驗方法
4.2.1 配氣方法
4.2.2 吸附實驗與數據處理方法
4.2.3 多組分吸附的體積校正方法
4.3 煤體吸附多組分氣體的特征和規律
4.3.1 煤體吸附多組分氣體特征
4.3.2 多組分吸附模型的預測方法
4.3.3 多組分吸附模型分析方法
4.3.4 不同模型的適用性及多組分吸附規律
4.4 多組分吸附的應用實例
4.5 小結
第5章 煤表面分子吸附瓦斯分子模擬分析
5.1 煤的分子結構模型研究
5.2 分子模型構建
5.2.1 計算模型的構建
5.2.2 煤表面分子模型的確定
5.2.3 氣體分子模型的確定
5.3 煤體表面分子片段模型的選擇
5.4 煤表面分子與甲烷分子的相互作用能
5.4.1 與單個甲烷分子相互作用的計算
5.4.2 與多個甲烷分子相互作用的計算
5.5 煤表面分子與多元混合瓦斯分子的相互作用計算
5.5.1 吸附能的計算
5.5.2 吸附幾何構型
5.5.3 電荷集居數的計算
5.6 煤表面分子吸附瓦斯分子研究結果分析
5.7 小結
第6章 煤吸附瓦斯熱力學
6.1 吸附熱力學
6.1.1 表面熱力學特性函數基本方程
6.1.2 表面吸附熱力學
6.1.3 吸附能的測定
6.2 煤的吸附表面自由能及其計算
6.2.1 煤表面自由能的形成和特點
6.2.2 煤表面自由能的計算
6.2.3 煤表面自由能的應用探討
6.3 等量吸附熱
6.3.1 吸附熱分類及其測試方法
6.3.2 斜率計算法
6.3.3 Langmuir參數計算法
6.4 等溫吸附曲線預測
6.4.1 吸附勢理論
6.4.2 吸附特性曲線
6.4.3 吸附特性曲線的繪制
6.4.4 不同溫度下等溫吸附曲線預測
6.5 小結
第7章 煤體瓦斯解吸擴散規律
7.1 瓦斯在煤體中的擴散模型
7.2 煤體瓦斯解吸擴散實驗研究
7.2.1 煤樣的采集與制各
7.2.2 實驗方法
7.2.3 實驗測定結果的處理方法
7.2.4 煤體瓦斯解吸擴散規律及影響因素分析
7.3 第三類邊界條件下的煤粒瓦斯解吸擴散模型
7.3.1 多孔介質的連續介質方法及其中流體的質量濃度
7.3.2 帶擴散連續性方程式的推導
7.3.3 煤粒瓦斯解吸擴散動力過程
7.3.4 煤粒瓦斯解吸擴散物理數學模型
7.3.5 煤粒瓦斯擴散方程的解析解
7.3.6 煤粒瓦斯擴散方程解析解的應用
7.4 小結
第8章 外加場對煤體瓦斯吸附解吸影響規律
8.1 電磁場對煤體瓦斯吸附解吸的影響規律
8.1.1 實驗系統
8.1.2 實驗前的準備
8.1.3 實驗結果及數據處理
8.2 聲場對煤體瓦斯吸附的影響規律
8.2.1 實驗系統
8.2.2 實驗前的準備
8.2.3 實驗結果及數據處理
8.3 外加場對煤體瓦斯吸附解吸的影響機理
8.3.1 電磁場對煤體瓦斯吸附解吸的作用機理
8.3.2 聲場對煤體瓦斯吸附的作用機理
8.4 小結
第9章 煤體瓦斯滲流規律研究
9.1 煤體瓦斯滲流實驗裝置
9.1.1 假三軸煤體滲流規律實驗系統
9.1.2 真三軸煤體滲流規律實驗系統
9.2 假三軸煤體滲流規律實驗
9.2.1 煤樣的制取
9.2.2 實驗步驟
9.2.3 煤體滲透率計算公式
9.2.4 實驗結果及分析
9.3 真三軸煤體滲流規律實驗
9.3.1 煤樣的制取
9.3.2 實驗步驟
9.3.3 實驗結果及分析
9.4 考慮吸附作用的煤體瓦斯固流耦合理論
9.4.1 基本假設
9.4.2 煤體滲流場方程
9.4.3 煤體應力場方程
9.5 氣體吸附性對煤層滲流的影響
9.5.1 不同氣體對滲透率的影響
9.5.2 吸附性影響煤層滲透性的機理
9.5.3 氣體吸附性對煤層滲透率影響的現場測試實驗
9.6 小結
第10章 煤層瓦斯運移理論的應用分析
10.1 瓦斯抽放制約因素分析
10.1.1 擴散對瓦斯抽放的影響分析
10.1.2 滲流對瓦斯抽放的影響分析
10.2 采動影響下煤體滲流通道演化觀測方法分析
10.2.1 實驗地點概況
10.2.2 頂板巖層裂隙測試方案
10.2.3 頂板巖層裂隙測試結果
10.2.4 基于圖像處理的頂板裂隙演化規律
10.2.5 基于觀測結果的瓦斯抽放鉆孔布置
10.3 瓦斯抽采自主與人工通道強化方法
10.3.1 煤層瓦斯運移通道強化方法
10.3.2 開采煤層保護層
10.3.3 高壓磨料射流割縫卸壓增透技術
10.3.4 深孔預裂爆破抽放瓦斯
10.4 小結
參考文獻

第一篇概論
第1章
數據管理背景
1.1數據增長
人類探索世界的腳步永無止境，而科學研究的方式也在不斷發展。遠古時期，人們依靠觀察和思辨來認識和探索世界。17世紀以來，隨著牛頓經典力學基本運動定律的發表，科學家逐漸把實驗與理論作為科學研究的基本手段。然而，隨著人類探索世界的不斷深入，許多科學問題的實驗研究和理論研究變得越來越復雜，甚至難以給出明確的結論。近半個世紀以來，隨著電子計算機的誕生與快速發展，計算機仿真模擬變成第三種不可或缺的科學研究手段，以幫助科學家去探索實驗與理論難以解決的問題，如宇宙的起源、汽車碰撞、天氣預報等。而在當前社會，各個學科領域的研究不斷向縱深發展，無論實驗裝置還是計算機仿真模擬的規模都變得越來越大，產生了越來越多的數據，從而催生了圍繞海量數據獲取、存儲、共享和分析的科學研究手段。來自科學儀器或者計算機仿真模擬的實驗數據被收集和存儲起來，并通過先進高速的網絡分享給處于不同的國家或機構的合作者。依靠分布式計算技術和協同工作環境，科學家不僅共享數據，還共享軟件、模型、計算、專家知識甚至人力等資源，從而加快科學成果的產出。現代科學研究，特別是粒子物理、生命科學、能源環境、先進材料與納米科學等新興或交叉領域的發展要進行跨國家、跨地域的協作與交流，而以網絡為基礎的科學活動環境的發展與完善正在對其產生深遠的影響。
在“紙筆研究”時代，科學家的數據記錄在筆記本上，幫助分析數據的工具可能是一把尺子。在今天，科學研究成果的獲得不僅取決于科學家的智慧和勤奮，還取決于海量科學數據的處理能力。基于海量數據處理的科學探索已經成為一種新的科學研究方法，也是科研信息化的重要內容之一。科學儀器和電腦仿真產生的新數據以每年一倍的速度急速擴張，超過了CPU處理能力的增長速度（摩爾定律：CPU處理能力每18個月翻一番）。1946年，美國軍方的ENIAC（electronicnumericalintegratorandcomputer）被稱為世界上第一臺“電腦”，是人類信息處理能力的大飛躍。在當時，它作為通用計算機被用于處理各種問題，從氫彈的設計到氣象預報。然而在今天，CERN（歐洲核子研究中心）的大型強子對撞機平均每秒鐘產生的數據，需要600萬個ENIAC來存儲，圖1-1是CERN研究中心的海量數據處理集群。基因工程、計算流體力學、天文學、生態學和環境科學等領域同樣經歷著這樣的科研方式變遷。在天文學領域，為了實現更大、更快、更深的天文學觀察目標，將在2015年投入使用大視場全景巡天望遠鏡（largesynopticsurveytelescope，LSST），直徑將達到8.4m，每夜能夠生成30TB的彩色圖像數據。它每15s便能拍攝一張約為月球直徑七倍大的空間的照片，每三天將累積拍攝成一張天空全景圖像。整個項目計劃拍攝20多萬張照片，拍攝精度將達3200M像素，預計第一年就將產生1.28PB的科學數據。在地學領域，對南加利福尼亞建立一個分辨率為10m，深度為100km的地面模型，將產生1PB的數據。生物醫學領域，使用電子顯微鏡重建人腦1mm3的神經電路，會產生33000張掃描片，每張片子至少2×1010像素，大約為1PB的數據。人腦有106mm3的神經組織，建立一個完整的大腦電路圖，需要海量的數據存儲和處理能力。
圖1-1CERN研究中心的海量數據處理集群
隨著儀器的精密度越來越高，傳感器、網絡等硬件成本大幅度下降，人們獲取數據的能力在不斷增強。然而數據不是知識，真正的知識只是數據冰山上最有價值的山尖。重建、分析、可視化、存儲和長時間保存這些數據的過程對算法效率、計算能力、數據訪問效率和存儲備份機制提出了很高的要求。與科研數據規模同時發展的信息技術為應對這樣的需求提供了如多核計算、GPU計算、網格計算和云計算等計算解決方案，以及如并行文件系統、分級存儲、面向對象的存儲等存儲解決方案。以北京正負電子對撞機上的BESIII實驗為例，為了處理高達5PB的實驗和用戶數據，BESIII計算系統采用了分級海量存儲系統保存實驗數據，采用面向對象的并行文件系統為分析、重建作業提供高吞吐率的I/O；在傳統集群技術的基礎上，采用網格技術實現跨地域海量數據共享和計算資源共享，通過整合多個站點資源來完成海量數據的重建、分析和模擬。
在科研數據快速增長的同時，隨著互聯網技術的不斷普及，個人及企業數據也在爆炸性的增加。全球著名分析調研機構IDC連續六年發布《數字宇宙研究》（DigitalUniverseStudy）報告，主要用于評估每年創建和復制的數據總量。該報告顯示，全球信息總量每過兩年就會增長一倍，圖1-2所示為該報告中數據量的增長趨勢。2011年，全球被創建和復制的數據總量為1.8ZB（1ZB=1024EB，1EB=1024PB，1PB=1024TB，1TB=1024GB）。相較2010年同期，這一數據上漲超過了1ZB。1.8ZB是什么概念？舉例來說，1.8ZB相當于全球每個人每天都去做2.15億次高分辨率的核磁共振檢查所產生的數據總量，或者相當于每個美國人每分鐘寫3條Twitter信息，而且還是不停地寫2.6976萬年。從2005年到2020年，全球的數據總量將增長130倍，達到40ZB。
圖1-2“數字宇宙”報告中數據量的增長趨勢
1.2數據管理目標
以網絡為基礎的科學活動環境中數據具有其自身的特點：一是數據量大，因此對于數據的存儲、計算和傳輸都提出了極高的要求；二是具有極其廣泛的國內國際合作。基于這些特點，數據管理系統應該能夠滿足海量存儲、全球分布、快速訪問和統一命名的需求。
具體包括以下目標。
（1）命名透明性。
以網絡為基礎的科學活動環境中數據量非常龐大，且分布存儲于不同機構的異構存儲系統中。數據管理系統應該給用戶提供統一的、透明的數據命名方式。用戶不必知道數據的物理存儲位置，就可以通過文件的邏輯名字來訪問所需要的資源。
（2）復制透明性。
為了提高數據可靠性或者提高數據訪問性能，以網絡為基礎的科學活動環境中通常采用數據復制技術。復制透明性是指數據管理系統可以隨意對文件進行復制而無需用戶知道，并且用戶仍可以使用原來的文件邏輯名透明地定位到合適的副本。
（3）協議透明性。
大規模的以網絡為基礎的科學活動環境中數據存儲于異構存儲系統中。存儲系統的不同帶來文件訪問協議的異構性，數據管理系統應該為用戶提供統一的訪問接口，選擇適當的訪問協議來實現用戶提出的數據訪問請求。
（4）效率透明性。
以網絡為基礎的科學活動環境中的應用程序所需的數據可能分布于多個不同的站點或系統，因此數據管理系統應該通過多種手段，盡可能提高數據訪問的效率，如使用高性能的傳輸工具、歷史信息進行傳輸預測，基于用戶訪問模式進行自動復制、磁盤緩存和預取等。
（5）空間透明性。
在以網絡為基礎的科學活動環境中，數據管理系統應該提供一個透明的存儲空間，用戶或者應用無需了解存儲空間由什么介質構成，或者具有多大的容量。用戶需要做的就是按照領域的規范向給他分配的存儲空間中寫入或從中讀取所需的數據，當空間不夠時，系統能夠按需自動擴展。
1.3數據管理功能
在以網絡為基礎的科學活動環境中，數據是一類非常重要的資源，具有海量、異構、可移動、可復制和可緩存等特點。在實際的使用場景下，有些數據集可以非常大，以至于在這種情況下，需要把一個大的數據集存儲在多個節點上。由于本地設備的限制，一個大文件全部傳輸到訪問者本地進行訪問的方法不再可行，隨之也帶來了文件部分訪問的問題。為了提高訪問速度，需要把文件傳輸到距離訪問者網絡上比較近的位置。為了解決單點故障，還需要對數據進行復制，從而需要對數據副本進行有效的管理。

……