大數據時代基于云計算的數據監(jiān)護研究論文
在大數據時代，為了更好地管理和利用科學數據，計算機圖靈獎獲得者Jim Gray于2002年提出了數據監(jiān)護(Data Curation)的概念。十余年來，數據監(jiān)護一直是國內外信息資源管理領域的熱點議題，研究主題集中在數據監(jiān)護的內容、發(fā)展策略、合作模式、職業(yè)教育、成功實踐等領域。111鑒于云計算能夠為數據監(jiān)護提供強有力的技術支撐，如云計算快速提供資源的能力有助于輔助完成資源密集型數據監(jiān)護任務，網絡化云服務有利于實現(xiàn)數據監(jiān)護的協(xié)同工作，基于云計算開展數據監(jiān)護引起了國外信息資源管理學界和業(yè)界的廣泛關注。本文對基于云計算的數據監(jiān)護問題進行探討，希望對我國的數據監(jiān)護工作有所借鑒。
一、數據監(jiān)護工作流程
數據監(jiān)護是為了確保數據當前的使用目的，并能用于未來再發(fā)現(xiàn)及再利用，從數據產生伊始即對其進行管理和完善的活動。121為了有效指導數據監(jiān)護實踐，提高數據監(jiān)護效率，一些數據監(jiān)護機構和研究者對數據監(jiān)護過程進行了概念化，提出了相應的數據監(jiān)護生命周期模型。本文基于英國數據監(jiān)護中心的DCC數據監(jiān)護生命周期模型13與王芳和慎金花提出的細化的數據監(jiān)護生命周期模型，梳理出了數據監(jiān)護工作流程，見圖1。數據監(jiān)護工作流程由4個階段、11個業(yè)務環(huán)節(jié)組成，涵蓋了數據監(jiān)護的所有必要階段和核心工作。
數據收集階段：數據采集。數據采集是數據監(jiān)護活動的起點，指根據采集政策，從數據創(chuàng)建者、檔案館、知識庫或數據中心等接收數據。元數據創(chuàng)建。為采集到的數據創(chuàng)建管理、描述、結構和技術元數據，以便進行數據管理和數據維護，以及實現(xiàn)數據共享。
數據處理階段：數據評價和選擇。評估數據并為長期監(jiān)護和保存選擇數據。數據評價和選擇直接關系到科學數據庫的質量，并且?guī)в幸欢ǖ闹饔^性。數據剔除。根據成文的政策、指引或法律要求，處理未成為長期監(jiān)護和保存對象的數據，將這些數據轉移到其他檔案館、知識庫、數據中心或其他保管機構。根據法律要求，有些數據會被安全銷毀。數據導入。將經過選擇的數據傳送至檔案館、知識庫、數據中心或其他數據監(jiān)護機構。為保證數據的可用性，在導入數據之前，應進行去重、交叉注釋、格式認證等。數據遷移。根據存儲環(huán)境的需求，或者為了確保數據對硬件和軟件退化的抗擾性，改換數據的格式、存儲系統(tǒng)、存儲類型。
數據保存階段：數據長期保存。長期保存須確保數據的可信性、可靠性、可用性和完整性。長期保存包括數據清洗、數據驗證、分配保存元數據、分配表征信息，保證數據具備可接受的數據結構和文件格式。數據存儲。遵守相關標準，選擇科學的組織方式和安全的存儲介質組織并存儲數據。數據存儲既可以保證數據的安全性，又便于數據被隨時使用和加工處理。
數據利用階段：數據獲取。采用適當的標準發(fā)布數據，并執(zhí)行嚴格的訪問控制和驗證程序，保證用戶安全、準確的訪問和獲取數據。數據復用。制訂數據復用規(guī)則，在不違反知識產權的前提下，提供數據復制、鏈接、引用等服務。數據轉換。根據原始數據創(chuàng)建新數據。例如，通過轉換格式、建立子集等途徑，創(chuàng)建新數據。
二、云計算為數據監(jiān)護提供支撐
云計算作為分布式計算、網絡存儲、負載均衡、熱備份冗余等計算機和網絡技術融合的產物，具有超大規(guī)模、虛擬化、通用性、高可擴展性等諸多特點。云計算的特點與數據監(jiān)護的需求非常契合，可以為數據監(jiān)護提供強有力的技術支撐。
彈性服務：云計算服務的規(guī)模可快速伸縮，以自動適應業(yè)務負載的動態(tài)變化。用戶使用的云計算資源與業(yè)務的實際需求相一致，避免了因為資源供需不匹配而導致的服務質量下降或資源浪費。161數據監(jiān)護的數據剔除和數據遷移等任務不需要持續(xù)不斷的執(zhí)行，屬偶發(fā)性活動。云計算的彈性服務能夠很好地滿足偶發(fā)性數據監(jiān)護活動的資源調用需求。
按需服務：云計算以服務的形式為用戶提供基礎設施、存儲空間、應用程序等，并能夠根據用戶的需求，自動分配各種資源。17用戶也可以根據需要在云中部署所需的應用程序。云計算的按需服務為數據監(jiān)護中需要依賴主觀意識完成的任務，如元數據創(chuàng)建、數據評價和選擇提供了極大的便利。
泛在接入：用戶通過互聯(lián)網可以隨時隨地利用云計算服務。數據用戶越來越多的使用筆記本電腦、智能手機、平板電腦，將數據監(jiān)護業(yè)務流程轉移至云，能夠極大地方便用戶上傳、訪問和下載數據。數據監(jiān)護的數據采集、數據獲取和數據復用等業(yè)務環(huán)節(jié)，可以從云計算的這一特點中受益。
服務外包：用戶進行數據處理所需的計算資源價格昂貴，將提供計算資源的業(yè)務委托給云服務商，既能夠節(jié)省開支，又能夠使用戶專注于自己的核心工作。云服務商為了利益最大化，保持最優(yōu)競爭力，都會迅速應對技術變革，以更低的價格提供更快的處理器和更大的存儲空間。云計算服務外包的特點使數據監(jiān)護機構將部分信息技術支持業(yè)務委托給云服務商，以獲得更低廉的價格和更優(yōu)質的服務成為可能。
三、基于云計算的數據監(jiān)護模型
云計算提供從硬件設施到應用軟件的多層次服務。根據服務的對象和功能差異可以將云計算劃分為三種服務模式：基礎設施即服務(IaaS)、平臺即服務(PaaS)、軟件即服務(SaaS);根據租用云計算的用戶對數據和環(huán)境的控制權，可以將云計算劃分為公有云、私有云和混合云等部署模型。本文根據數據監(jiān)護不同業(yè)務階段的工作內容和技術需求，并結合云計算的服務模式和部署模型，構建了基于云計算的數據監(jiān)護模型，見圖2。下面分別從數據監(jiān)護的云計算服務模式和部署模型兩個方面分析基于云計算的數據監(jiān)護模型。
(一)數據監(jiān)護的云計算服務模式
IaaS層。IaaS提供基礎設施部署服務。IaaS通過虛擬化技術整合服務器、存儲設備、網絡資源、高性能計算集群等物理資源，構建全局統(tǒng)一的動態(tài)虛擬化資源池。基于云計算的數據監(jiān)護模型的IaaS層為上層云計算服務提供海量硬件資源，實現(xiàn)硬件資源的按需酉己置。
PaaS層。PaaS是云計算應用程序運行環(huán)境，提供應用程序部署與管理服務。PaaS不僅能夠實現(xiàn)海量數據的存儲，而且能夠提供面向海量數據的分析處理功能。在基于云計算的數據監(jiān)護模型的PaaS層，數據監(jiān)護機構使用云供應商的軟件工具和開發(fā)語言，開發(fā)數據收集和數據處理所需的各種應用程序，實現(xiàn)應用程序的多元化和定制化服務，并將科學數據保存于海量數據存儲系統(tǒng)。
SaaS層。SaaS提供以服務為形式的應用程序。SaaS允許用戶使用部署于供應商云基礎設施上的應用程序，用戶也可以根據需求向供應商定制應用程序。在基于云計算的數據監(jiān)護模型的SaaS層，數據監(jiān)護機構通過應用程序向用戶提供數據利用服務，實現(xiàn)數據共享和科研協(xié)作。
(二)數據監(jiān)護的云計算部署模型
數據監(jiān)護的各個階段分別面向數據監(jiān)護方和數據使用方，對應不同的數據存取、處理等操作權限，因此需要采用相適應的云計算部署模型。數據監(jiān)護過程中的數據利用階段位于SaaS層，為用戶提供方便高效的數據獲取等服務，而公有云面向一般公眾提供敏捷彈性服務的特點與數據利用階段的功能需求相契合。用戶能夠通過網絡瀏覽器像使用個人電腦中的軟件那樣使用公有云的應用程序，實現(xiàn)應用程序的泛在訪問。因此，基于云計算的數據監(jiān)護模型的SaaS層應采用公有云部署模型。數據收集和數據處理工作要求云計算提供量身定制的服務功能和非常穩(wěn)定的'服務質量，而數據保存工作要求云計算能夠切實保障數據安全。私有云部署在用戶數據中心的防火墻內，能夠提供對數據、安全性和服務質量的最有效控制，而且不會沖擊用戶已有的業(yè)務流程。因此，基于云計算的數據監(jiān)護模型的PaaS層適宜采用私有云部署模型。上述公有云和私有云的基礎設施共同構成了基于云計算的數據監(jiān)護模型的IaaS層，并且公有云和私有云具有統(tǒng)一的接口標準，保證服務的無縫遷移，即IaaS層采用混合云部署模型。
四、基于云計算的數據監(jiān)護案例
SRF項目：英國南安普頓大學的SRF項目，針對科學研究工作集成了許多已有的協(xié)作型數據管理工具，并將這些工具部署到一個共享的虛擬云平臺上，以SaaS的方式提供服務。SRF工具最大的特點是能夠在網絡日志中自動或者手工創(chuàng)建和共享實驗數據。例如，SRF的一款代理軟件能夠植入實驗儀器和計算機，自動抽取儀器在實驗過程中記錄的數據，并轉換為XML格式，然后以博客的形式發(fā)布以實現(xiàn)協(xié)作復用。通過博客發(fā)布平臺實現(xiàn)實驗過程、實驗數據、實驗分析的互聯(lián)，組織實驗數據記錄，構建實驗、實驗數據、實驗設備之間的關聯(lián)關系。在數據監(jiān)護生命周期中，SRF工具主要用于接收和抽取數據，以保證實驗數據在上傳至云的過程中會被格式化成標準格式。
Data Flow項目：牛津大學的Data Flow項目，旨在創(chuàng)建免費的云托管Data Stage和Data Bank，以便于管理、保存、發(fā)布研究數據。其中，Data Stage以在用戶電腦上運行映射驅動器的方式，提供研究組水平的、安全的“本地”文件管理環(huán)境。另外，Data Stage還提供數據的網絡獲取和在線存儲服務，用戶通過訪問控制程序的認證之后，即可以訪問私人、共享、協(xié)作、公眾和公共數據目錄。Data Bank是一種虛擬化的、基于云部署的機構研究數據倉儲。機構可以選擇將Data Bank部署在Eduserv教育云或者機構自己的基礎設施中。Data Bank還具備包括數據抽取、儲存、長期保存、訪問在內的一系列數據監(jiān)護功能。
Kindura項目：倫敦國王學院的Kindura項目，是一個基于混合云部署模型的科學數據管理試點項目，提供基于存儲的數據管理服務和基于計算的數據處理服務。Kindura項目通過DuraSpace推出的托管云服務一DuraCloud，將本地服務與各種云服務相銜接。用戶利用DuraCloud提供的統(tǒng)一界面，即可享受一站式數據存取服務。Kindura項目通過部署于服務器上的規(guī)則引擎，以及面向規(guī)則的集成數據管理系統(tǒng)(iRODS)的規(guī)則庫，決定具體數據存儲在本地還是存儲于云端：二進制對象存儲在云端，元數據和Fedora對象存儲在本地。l9Kindura項目證明，混合云能夠有效節(jié)省數據監(jiān)護成本，并且能夠更加高效地利用本地存儲庫，提升數據處理能力。
東南大學AMS-02項目：東南大學為大型國際合作項目AMS-02的數據監(jiān)護工作構建的云計算平臺，提供IaaS、PaaS、SaaS服務。該云計算平臺架構如圖3所示。在IaaS層，云計算基礎設施由3500顆CPU內核和500TB高速存儲設備構成，提供虛擬機和物理機的按需分配，并且自動配置操作系統(tǒng)、科學計算函數庫等運行環(huán)境。在PaaS層，數據分析處理平臺提供大規(guī)模計算能力和海量數據存儲能力;應用開發(fā)環(huán)境為AMS-02數據分析處理應用提供編程接口。在SaaS層，以服務的形式部署云計算應用程序，用戶通過訪問AMS-02應用，可以獲取原始科學數據以及數據處理分析結果。云計算通過超級計算模式，整合大量的存儲、計算、帶寬等資源，為數據監(jiān)護提供了經濟高效的解決方案。國內的數據監(jiān)護尚處于起步階段，對基于云計算的數據監(jiān)護進行深入的理論探討和實踐探索，有助于推動我國的數據監(jiān)護實現(xiàn)跨越式發(fā)展。
【大數據時代基于云計算的數據監(jiān)護研究論文】相關文章：
云計算環(huán)境數據安全研究論文11-03
大數據時代的大數據管理研究論文10-19
基于數據抽取與訂閱實現(xiàn)數據共享分析及研究論文10-30
大數據時代數據挖掘技術教學研究論文01-20
分析論文：云計算環(huán)境下大數據06-26
大數據時代的國際關系研究論文11-05