基于知識網(wǎng)格的分布式數(shù)據(jù)挖掘論文
摘要：本文在討論知識網(wǎng)格體系結(jié)構(gòu)的基礎(chǔ)上，還討論了知識網(wǎng)格是如何用于支持分布式數(shù)據(jù)挖掘。
關(guān)鍵詞：分布式數(shù)據(jù)挖掘；網(wǎng)格計算；網(wǎng)格服務；Web服務資源框架
一、前言
隨著科學、工業(yè)、商業(yè)等領(lǐng)域的發(fā)展，出現(xiàn)了大量的TB級甚至PB級的大規(guī)模數(shù)據(jù)集，在這些數(shù)據(jù)集中包含了大量的對生活、生產(chǎn)、科學研究等具有決策性作用的有用信息，那么如何從這些海量數(shù)據(jù)中提取信息是人們面臨的一個重大的問題。顯然，原先的集中式數(shù)據(jù)挖掘模式已無法滿足人們的需求，這就需要探索出面向分布式數(shù)據(jù)挖掘的體系結(jié)構(gòu)和工具。
二、知識網(wǎng)格
知識網(wǎng)格代表了數(shù)據(jù)網(wǎng)格的發(fā)展，為網(wǎng)格中分布式數(shù)據(jù)挖掘和抽取提供了高級工具和技術(shù)。知識網(wǎng)格是設(shè)計和實現(xiàn)分布式高性能知識發(fā)現(xiàn)應用環(huán)境的體系架構(gòu)，用于執(zhí)行網(wǎng)格中的數(shù)據(jù)挖掘，進行科學發(fā)現(xiàn)，發(fā)現(xiàn)有用的商業(yè)信息。
三、知識網(wǎng)格體系結(jié)構(gòu)
知識網(wǎng)格體系結(jié)構(gòu)是在Globus toolkits網(wǎng)格工具集和服務的基礎(chǔ)上定義的。在Globus中，知識網(wǎng)格集成局部服務以提供全局服務。知識網(wǎng)格體系結(jié)構(gòu)保證了數(shù)據(jù)挖掘工具和底層的網(wǎng)格機制和數(shù)據(jù)網(wǎng)格服務兼容。
知識網(wǎng)格服務由兩層構(gòu)成：核心知識網(wǎng)格層和高級知識網(wǎng)格層。
1.核心知識網(wǎng)格層
1.1知識目錄服務(KDS)。該服務擴展了基本的Globus元數(shù)據(jù)目錄服務(MDS)，負責維護知識網(wǎng)格中數(shù)據(jù)和工具的描述。
要維護從一個特定數(shù)據(jù)倉庫中挖掘出來的數(shù)據(jù)是不切實際的，但是維護一個已發(fā)現(xiàn)知識的數(shù)據(jù)庫是非常有用的。這些信息被存放在知識倉庫(KBR)中，但是描述它們的元數(shù)據(jù)仍由KDS管理。KDS不僅可用于搜索和訪問原始數(shù)據(jù)，也可以發(fā)現(xiàn)原先已發(fā)現(xiàn)的知識，以便在數(shù)據(jù)改變時比較給定挖掘計算的輸出，或者以遞增的方式應用數(shù)據(jù)挖掘工具。
1.2資源分配和執(zhí)行管理服務(RAEMS)。該服務用于在執(zhí)行方案和可用資源間查找最佳映射，以滿足應用需求(如計算能力、存儲能力、主存、數(shù)據(jù)庫、網(wǎng)絡(luò)帶寬和延遲)和網(wǎng)格約束。在執(zhí)行方案激活之前，該層管理和協(xié)調(diào)應用的執(zhí)行。該層并不是使用KDS和Globus MDS服務，而是直接基于Globus GRAM服務的。
2.高級知識網(wǎng)格層
2.1數(shù)據(jù)訪問服務(DAS)。數(shù)據(jù)訪問服務負責搜索、選擇、抽取、轉(zhuǎn)換和交付被挖掘的數(shù)據(jù)。搜索和選擇服務是基于核心知識目錄服務的。在用戶需求和約束的基礎(chǔ)上，數(shù)據(jù)訪問服務自動進行查詢和查找由數(shù)據(jù)挖掘工具分析的數(shù)據(jù)源。
2.2工具和算法訪問服務(TAAS)。該服務負責數(shù)據(jù)挖掘工具和算法的搜索、選擇和下載。描述其可用性、位置和配置的元數(shù)據(jù)存放在KMR中，并由KDS管理，而算法和工具則存放在每個知識網(wǎng)格結(jié)點的本地存儲系統(tǒng)中。需要向其他用戶導出數(shù)據(jù)挖掘工具的結(jié)點，首先必須使用KDS服務來發(fā)布該工具。還有其他的相關(guān)元數(shù)據(jù)，如參數(shù)、數(shù)據(jù)輸入輸出格式、實現(xiàn)的數(shù)據(jù)挖掘算法、資源請求和約束等。
3.3執(zhí)行方案管理服務(EPMS)。執(zhí)行方案是描述數(shù)據(jù)源、抽取工具、數(shù)據(jù)挖掘工具、可視化工具和KBR中的知識結(jié)果之間的數(shù)據(jù)流和交互的圖形化表示。最簡單的情況是，用戶可使用可視化構(gòu)造工具直接描述一個執(zhí)行方案。然而，由于DAS和TAAS產(chǎn)生結(jié)果的`多樣性、數(shù)據(jù)和工具的位置、中間結(jié)果表示方法等的差異能產(chǎn)生多種不同的執(zhí)行方案。因此，EPMS是由用戶自行選擇數(shù)據(jù)和程序的半自動化的工具，產(chǎn)生一系列滿足用戶、數(shù)據(jù)和算法需求及約束的多種可執(zhí)行方案。
2.4知識表示服務(RPS)。知識可視化是數(shù)據(jù)挖掘過程中的重要步驟，它可以幫助用戶解釋發(fā)現(xiàn)的模式。該服務指出了如何產(chǎn)生、表示和可視化抽取的知識模型(關(guān)聯(lián)規(guī)則、聚類模型、分類等)。結(jié)果元數(shù)據(jù)存放在由KDS管理的KMR中。KDS不僅用于搜索和訪問原始數(shù)據(jù)，還可查找已經(jīng)發(fā)現(xiàn)的知識。
四、執(zhí)行管理
1.概念模型表示在知識網(wǎng)格內(nèi)，UML活動圖標形式化方法用于表示應用的概念模型，同時BPEL用于表示執(zhí)行方案。活動圖標表示構(gòu)成應用邏輯的服務調(diào)用的高層次流通，而BPEL表示各種各樣的服務實質(zhì)上是如何調(diào)節(jié)和調(diào)用的。
2.執(zhí)行計劃表示
BPEL通常即可以表示抽象執(zhí)行計劃，也可以表示實例執(zhí)行計劃。在這個兩個計劃中，服務通過BPEL提供的partnerLinkType元件進行訪問。這種元件能夠?qū)PEL工作流與它包括的每項服務的ESDL描述聯(lián)系起來。這兩個執(zhí)行計劃的主要區(qū)別是：在抽象執(zhí)行計劃的BPEL文檔中，服務的WSDL并不包括服務地點，而它們都包含在實例執(zhí)行計劃。
五、Weka4ws
Weka4ws是一個框架，它擴展了廣泛應用的開發(fā)式資源Weka工具包，用于支持在WSRF-enabled網(wǎng)格上的分布式數(shù)據(jù)挖掘。為運行遠程的數(shù)據(jù)挖掘算法和管理分布式計算，Weka4WS采納了WSRF技術(shù)。Weka4ws用戶界面支持當?shù)睾瓦h程的數(shù)據(jù)挖掘任務的執(zhí)行。在每一個計算節(jié)點上，一個與WSRF兼容的WS被用來曝光由Weka程序庫提供的所有數(shù)據(jù)挖掘算法。
網(wǎng)格架構(gòu)發(fā)展迅速，所支持的程序的種類日益多樣化，可使用的工具也日趨完善和復雜。網(wǎng)格服務的發(fā)展方向已從原先的基本的面向計算的服務轉(zhuǎn)到高級信息管理和知識發(fā)現(xiàn)服務上來。知識網(wǎng)格系統(tǒng)為分布式數(shù)據(jù)挖掘和基于網(wǎng)格服務的知識發(fā)現(xiàn)定義了一個集成的體系結(jié)構(gòu)。該體系結(jié)構(gòu)推動了地理位置分布的大規(guī)模數(shù)據(jù)集的數(shù)據(jù)挖掘。
參考文獻：
胡蓉，肖基毅.基于知識網(wǎng)格的分布式數(shù)據(jù)挖掘計算機技術(shù)與發(fā)展.VOL.17 No.10Oct.2007
【基于知識網(wǎng)格的分布式數(shù)據(jù)挖掘論文】相關(guān)文章：
挖掘農(nóng)村獨有的語文教學資源(人教版 教學論文)12-05
付出老師的愛，挖掘?qū)W生的美(班主任工作論文)12-05
如何挖掘《囚綠記》的主題(人教版高一必修教學論文)12-06
議論文文體知識演講的基本知識12-05
挖掘?qū)W生的學習潛能12-06
中考議論文考點知識07-29
挖掘閱讀教學的創(chuàng)新點12-05
挖掘變形記的當代內(nèi)涵--挖掘《變形記》當代內(nèi)涵(網(wǎng)友來稿)12-06
課改背景下的語文知識教學(教學論文)12-06