根據國際數據公司IDC 2011年發布的Digital Universe Study,全球信息總量每過兩年,就會增長一倍。僅在2011年,全球被創建和被復制的數據總量為1.8ZB(1.8萬億GB)。相較2010年同期上漲超過1ZB,到2020年這一數值將增長到35ZB。
社交網絡僅僅是1.8澤塔數據中的一部分,電子商務、政企、互聯網和個人云端數據存儲也在增加。傳統的結構化數據向非結構化發展,隨著互聯網參與人群與互聯網應用的增長,數據也在呈現越來越多樣化的形態。視頻、語音、文本、圖片等傳統單一介質的存儲方式已經被打亂,取而代之的是更具交互性的數據,個體用戶或者消費者在其中的貢獻不可忽視。同時,寬帶、無線通信、云計算的發展使我們的網速變得更快,獲取數據隨手可得,也推動了大數據的進一步繁榮。企業管理下的非結構化數據數量呈幾何級增長,并且增速還在加快。考慮到如何合理保存和利用這些數據,企業IT所面臨的壓力不言而喻。
對此,世紀互聯李志霄博士提出企業處理大數據可以從三個維度考慮,即大數據的挖掘、存儲、遷移。
1、數據挖掘
在云中,數據散落分布于不同的物理機上,Hadoop等大數據挖掘工具在其中起到指針的作用,根據對信息內容的需求指向信息存儲的空間,形成數據倉庫。所有數據倉庫的集合都存在于云數據中心的資源池中。根據實際需求選擇數據挖掘工具,定義數據需求是CIO的首要任務。
2、數據存儲
當企業數據存儲于云端或者物理服務中,就需要對數據進行物理位置、查詢、處理、刪改等數據存儲管理。每一次數據調用和存儲,都需要企業為之付出相應的成本,包括電力、設備、帶寬、計算能力等等。以數據云化和IT服務外包的方式能夠降低單次訪問成本,通過數據中心能效提升等方式,幫助企業IT降低整體費用。而數據讀取過程提速、冗余數據處理等升級管理則將最大限度提升企業IT效率。
3、數據遷移
云遷移(穿梭,穿越)是個艱難的任務,需要專門的工具或服務團隊。因為沒有接口標準,用戶必須先選好目標云。而今天云計算的一個大短板就是部署運維,客戶群不具備這個能力,而現有的SI也大多停留在傳統部署的層次。因此數據遷移對企業未來業務遷移所面臨的一大挑戰。選擇具備云遷移能力云數據中心服務商可以幫助企業實現從傳統數據中心向云平臺部署的轉換。
推薦閱讀
北京時間3月28日凌晨消息,據熟知內情的消息人士周二稱,雅虎研究部門的離職狂潮仍在繼續,計算廣告高級副總裁兼廣告產品集團首席科學家安德雷布羅德(Andrei Broder)和廣告科學部門負責人毛建昌都已離職。 目前還不清>>>詳細閱讀
本文標題:李志霄:三個維度應對互聯網大數據時代到來
地址:http://www.xglongwei.com/a/kandian/20120328/45484.html