可擴展集成化云平臺監控機制的設計論文

　　1引言

　　過去幾年，隨著云計算技術的不斷發展，對于云平臺監控的需求越來越迫切.作為云計算數據中心的運維人員，需要隨時關注服務器的性能指標，避免服務器性能降低甚至當機的風險.。通過云平臺資源的特點，可以知道云平臺監控的主要難點集中在被監控的資源的多樣性、動態性及規模巨大這幾個方面:

　　1)資源的多樣性—云平臺上的資源是多種多樣的，從操作系統上分，包括windows，linux，unix等不同的操作平臺;從系統架構上分，包括如cpu、內存、硬盤等底層的硬件;還包括如mysql數據庫、apache等各種應用程序和服務.如何將這些復雜的資源進行抽象分類，從而簡化監控任務，是云平臺監控的一個重大挑戰.

　　2)資源的動態性—云平臺上的資源不是固定不變的，云平臺的節點可以動態的增加或減少，云平臺上的應用及服務也可以動態的安裝或卸載.如何讓云平臺監控動態適應云平臺變化，是云平臺監控一個重大挑戰.

　　3)資源的規模巨大—云平臺往往包括成千上萬計算節點，而每個節點上運行著各種應用軟件和服務，造成云平臺資源規模巨大，這就給監控系統帶來很大的負擔，同時影響云平臺的性能.如何提供一種對云平臺影響較小，且監控效率較高的系統，是云平臺監控的一個重大挑戰.單一的監控軟件往往無法滿足云平臺被監控資源的動態性、多樣性以及資源規模巨大的需求.為全面監控云平臺資源，往往需要安裝多種監控軟件，在查詢時需頻繁切換不同軟件，不利于實時監控，同時增加了運維人員的工作量.文獻[2]提出一種基于Ganglia與MDS結合的網格監控體系研究，但該體系不具備可擴展接口，當現有軟件需要升級或需要增加新的監控軟件時，只能通過手工修改代碼來完成.針對上述問題，提出一種可擴展集成化云平臺監控機制，可以靈活集成多種監控軟件，以滿足對云平臺資源的監控需求，并有效減輕運維人員的工作壓力，提高工作效率.

　　2相關工作

　　隨著云平臺的發展，人們越來越關注云平臺上資源的運行和使用情況，以滿足云平臺監控使用者及時掌握云平臺的運行狀態，因此，對云平臺監控的研究也逐漸發展起來.下面從學術界和工業界兩方面討論云平臺監控的相關工作.學術研究方面，在云計算技術發展之前，集群技術以其高性價比、易于擴充與易于裁減等諸多優點已經成為高性能計算常見的解決方案，對集群監控的研究也逐漸受到研究人員的重視.隨后對網格計算的研究，研究人員針對于網格環境中的監控問題做了大量的研究工作，.集成化云平臺監控機制針對在云平臺監控中遇到的被監控的資源的動態性、多樣性及規模巨大等難題，提出了一種可擴展集成化云平臺監控機制，下面將從監控系統框架、監控模型和監控軟件集成方法三個方面進行介紹.

　　3監控系統框架

　　我們提出一種可擴展集成化云平臺監控體制，可以在云平臺監控系統的底層動態的增加監控軟件，以適應云平臺資源的多樣性和動態性的特點，這些操作對于使用者來說是透明的.圖1是監控系統框架圖，將從云平臺資源、監控數據的提取及存儲、監控服務這三個方面介紹系統的框架.

　　3.1.1云平臺資源根據云平臺資源的特點，可以知道云平臺被監控節點具有多樣性，根據不同的劃分方法對被監控節點進行分類，具體分類如下:

　　1)操作系統不同—根據操作系統的不同分類可以將監控節點分為window系統監控節點和類linux系統監控節點.2)應用和服務不同—由于被監控節點上運行著不同的應用程序及服務，如對mysql數據庫、apache等應用服務以及hadoop分布式框架進行監控，不同的監控軟件對于服務和程序的支持不同.

　　3.1.2監控數據的提取及存儲首先對監控數據的完整性進行定義:監控數據的完整性是指對監控軟件的數據進行即時保存，并保證對所有的監控數據進行準確保存，而不淘汰任何老數據.一般情況下，監控軟件會將監控數據存放在監控服務端的RRD數據庫中，RRD數據庫最大的特點是以循環格式來存儲數據，在持續插入新數據的過程中不斷淘汰老數據，因此RRD文件大小保持在一定的范圍內.這樣不利于監控數據的完整保存，所以需要采用一定的方法將監控數據存儲到可保證數據完整性的數據庫(如mysql，mongodb等)中，并進行持久存儲.

　　1)讀取特定端口取數據—被監控的節點將監控數據通過特定的端口傳輸到服務節點，按照一定的時間間隔去讀該端口并獲取xml數據，然后利用解析工具取得監控數據，最終存入可保證數據完整性的數據庫.2)通過腳本轉存數據—對于不易通過端口獲取數據的監控軟件，則需要通過執行python或shell腳本將監控數據從RRD數據庫轉存到可保證數據完整性的數據庫中，相比于上一種方法，這種轉存方式效率較低，實時性較差.

　　3.1.3監控服務在介紹監控服務之前首先要明確監控服務的使用者，使用者定義如下:

　　監控服務的使用者主要包括運維人員以及最終使用者.運維人員是需持續關注云平臺資源的使用情況，并根據監控數據進行作業調度，任務遷移等操作的相關人員，另外運維人員還負責添加監控軟件，并進行相應配置.最終使用者是指需要查看云平臺資源的狀態，以及需要關注特定資源使用情況的相關人員.基于監控數據完整性保存模塊，云平臺監控系統提供了配置引擎、查詢引擎、統計引擎和報警引擎四種功能引擎，并向上提供相應的功能接口.1)配置引擎:當現有的監控系統無法滿足著云平臺資源的監控需求時，則可部署新的滿足條件的監控軟件，并通過配置引擎建立或修改監控軟件指標集與監控類屬性集間的映射關系.2)查詢引擎:系統默認向用戶提供給定時間段的查詢;另外系統還提供用戶自己定義時間段，監控系統通過一定的算法實現在這個時間段內的監控狀態查詢.3)統計引擎:系統向用戶提供了監控集群以及自定義子監控集群整體負載的統計.4)報警引擎:系統向用戶提供系統設定閾值的報警，也提供用戶自定義指標的監控報警.

　　3.2監控模型

　　定義1.監控模型.可擴展集成化的云平臺監控模型可以定義為一個三元組:MM=(MC，MS，MR)，其中:1)MC表示監控類，監控類可定義為一個二元組:MC=(ON，OP)，其中:(a)ON表示監控類的名稱(b)OP表示監控類的屬性集2)MS表示監控軟件，監控軟件可定義為一個二元組:MS=(SN，SV)，其中:(a)SN表示監控軟件的名稱(b)SV表示軟件監控的指標集3)MR表示映射關系，定義如下:

　　設mc是集合MC中一個監控類，對于衟1∈mc.OP，鰉s∈MS，鰒∈ms.SV，鰉r∈MR，滿足mr(p1)=v，且對于衟2∈mc.OP，p1≠p2，滿足mr(p2)≠v.定義2.監控對象MO=(ON，OP，OV，OT，MN)，其中:

　　(a)ON表示監控類的名稱(b)OP表示監控類的屬性集(c)OV表示監控對象的屬性值(d)MT表示取得監控數據的時間(e)MN表示監控數據屬于哪個節點定義3.監控類實例化.設mc為集合MC中一個監控類，mo為集合MO中一個監控對象，對于衟1∈mc.OP，鰌2∈mo.OP，且p1=p2，對于衟3∈mo.OP，鰌4∈mc.OP，且p3=p4，則可稱mo是mc的實例化，記為mo≤mmc.定理1.如果某個監控類的屬性與某監控軟件的指標之間存在映射關系，且一個監控對象是這個監控類的實例化，則這個監控對象的屬性與該監控軟件的指標之間存在映射關系.證明:設mc為集合MC中一個監控類，mo為集合MO中一個監控對象，根據定義3，mo≤mmc，對于衟1∈mo.OP，鰌2∈mc.OP，則p1=p2，又根據定義1，鰒∈ms.SV，鰉s∈MS，滿足mr(p2)=v，所以mr(p1)=v;又根據定義3，衟3∈mo.OP，且p1≠p3，鰌4∈mc.OP，則p3=p4，p1≠p4，p2≠p4.根據定義1，mr(p4)≠v，所以mr(p3)≠v.通過定義抽象的'監控類以及監控類和監控對象之間的實例化關系，使運維人員只需對監控類屬性和監控軟件指標之間的映射關系進行配置，不需要配置每個監控對象屬性與監控軟件指標之間的映射關系.定義了監控類實例化后，可以根據實例化關系自動生成監控對象與監控軟件之間的映射關系，大大減少了運維人員的工作量，也保證了映射關系的準確性.

　　3.3監控軟件集成方法

　　對于云平臺來說，決不能假設它是一成不變的，對于云平臺資源的動態變化或資源出現故障的情況，需要云平臺能及時采取措施，做到對高層用戶透明或者盡可能減少用戶的損失.當現有的監控系統無法滿足云平臺資源的動態增加而產生有些監控指標監控不到的時候，則需要考慮集成新的監控軟件，結合使用多種監控軟件對云平臺資源進行監控.添加新的監控軟件時，首先將要增加的軟件注冊并部署到云平臺，在軟件集合MS中增加ms.通過配置引擎建立或修改監控類屬性集OP與ms指標集SV間的映射關系mr.對于原監控軟件監控不到，而新增加的軟件可提供的指標項，直接增加新的軟件的指標項;對于原軟件與新軟件都可提供的指標項，可以從監控數據的實時性和準確性等角度綜合考慮是否要調整原有的映射關系.映射關系確定后，可推導得到監控對象的屬性與監控軟件指標集里的元素形成的一對一映射關系.監控數據提取模塊將根據新的映射關系提取監控數據，完成監控軟件的集成.監控數據存放在保證監控數據完整性的存儲模塊，用來向上層提供業務服務.

　　通過上述對集成化的云平臺監控機制的論述可表明，該機制的創新性主要體現在可以靈活的增加、刪除多種監控軟件，運維人員只需對監控類屬性和監控軟件指標之間的映射關系進行配置，繼而根據監控對象的實例化關系自動生成監控對象與監控軟件之間的映射關系，提高了監控軟件接入效率，也保證了映射關系的準確性.該機制還可將監控數據提取到可保證數據完整性的數據庫中進行持久存儲，以及封裝成相應的接口，以方便運維人員更好的對云平臺進行監控管理.

　　4實驗及分析

　　4.1實驗環境設置

　　為了驗證這種可擴展集成化的云平臺監控機制是否適應云平臺的資源的多樣性、動態性及規模巨大的特點，我們搭建了一個云平臺監控實驗系統.該實驗選擇4臺服務器組成小型集群，其中一臺win-dowsserver08的服務器，三臺centos5.7的服務器，軟件采用Ganglia-3.1.7，Cacti-0.8.8a.硬件環境均為2G內存，20G硬盤.一臺centos的服務器作為監控頭結點，剩余三臺服務器作為實驗系統的代理節點.通過數據完整性提取方法將監控數據存到mysql數據庫中，并向使用者提供業務服務，實驗系統物理部署如圖3所示，其中.1)代理節點a:windows服務器，開啟了snmp服務.2)代理節點b:Linux服務器，開啟了snmp服務，且部署了hadoop分布式框架.3)代理節點c:Linux服務器，開啟了snmp服務，且安裝了mysql數據庫服務.

　　4.2實驗結果與分析

　　實驗環境配置完成后，需要代理節點b上的hadoop框架進行監控，而Cacti對hadoop的指標監控不完整，所以需要集成Ganglia這款新的監控軟件，通過實驗系統提供的配置引擎，并遵循監控軟件的集成方法，將Ganglia集成到實驗系統并進行實驗.對Ganglia和Cacti共同監控的節點b進行實驗，每隔5分鐘記錄一次數據，并于實驗開始15分鐘后執行計算任務以增加負載和內存使用，35分鐘后結束任務，50分鐘后結束實驗.其中，系統真實值是調用linux的系統命令uptime、free得到的.圖4，圖5和圖6是從監控的實時性，準確性方面進行對比的.圖4和圖5中的縱坐標表示1分鐘和15分鐘的平均負載，單位是個.圖6中的縱坐標是空閑內存的容量，單位是KB.從實驗結果可以看出，云平臺監控系統的監控數值與系統真實值更為接近，說明云平臺監控系統的實時性和準確性較高.同時，我們還對監控指標的完整性進行了比較，在監控指標的完整性方面，云平臺監控系統比Ganglia、Cacti單獨監控的指標更完整，從而保證了監控指標的完整性.通過以上的比較，可以發現搭建的云平臺監控實驗系統在實時性、準確性及監控指標完整性方面要優于Ganglia或Cacti單獨監控，該云平臺監控系統可以在一定程度上適應云平臺資源規模巨大，動態性和多樣性方面的特點.

　　5結語

　　提出一種可擴展集成化的云平臺監控機制，確定了添加新監控軟件的流程，并定義了兩種監控數據完整性提取和存儲方法.根據這種機制搭建了集成Ganglia和Cacti的云平臺監控實驗系統，實驗表明，該系統具有良好的可擴展性，滿足對云平臺動態變化資源的監控，可以有效減輕運維人員的工作壓力，提高工作效率.同時也驗證了該機制可以適應云平臺表現出的特點，是解決云平臺監控難題的一種有效途徑.

【可擴展集成化云平臺監控機制的設計論文】相關文章：

云計算網絡教學平臺設計與實現論文08-01

基于可擴展的網頁關鍵信息抽取研究論文10-30

云平臺下基于包裝設計的軟件開發研究論文10-29

基于云服務的工業設計科技資源共享平臺論文11-05

電網營銷運營監控平臺數據架構發展論文11-08

淺析基于云計算的智能計量平臺研發的論文05-28

論文：短信平臺系統的設計與實現06-24

基于云計算的網絡監控系統研究論文10-31

2017有關可持續水資源系統機制研究論文06-24