【IT商業新聞網訊】（記者 桂林）記者近日獲悉，京東商城在Hadoop高可用方面的研究，取得了重大成果。在Hadoop集群運維方面，一直以來都有這樣一個難題困擾著業界：線上集群，由于NameNode的異常，極有可能導致Hadoop集群服務中斷；NameNode軟硬件系統定期維護、升級也一直是讓人頭疼的問題——整個集群可用性會受到影響。集群可能隨時都有任務在執行，有些業務是需要7*24小時不間斷地提供服務，服務中斷會造成比較大的影響，被影響的業務有可能又會間接影響到其它業務。
到底是什么讓線上集群存在這樣的憂患呢？我們知道，NameNode的備份可以分為冷備，溫備，熱備等方案。目前，絕大多數Hadoop線上集群使用的是冷備的方案。冷備方案中，只存在一個NameNode節點對外提供服務，如果此節點服務發生異常，那么整個Hadoop集群提供的服務就會中斷，造成集群不可用，且只能是人工介入修復，如果Hadoop集群存儲的文件數量很多，NameNode重新啟動的時間會很長，這就會給所有線上集群任務造成較大的影響，其損失無法估量。這個問題不僅是京東商城的問題，更是業界普遍面臨的一個問題。
京東Hadoop高可用解決方案，很好地解決了以上問題。熱備方案是在冷備方案的基礎上，引入了一個從節點作為熱備節點。當主節點出現異常時，從節點切換為主節點，Hadoop繼續對外提供服務。
京東Hadoop高可用解決方案是以Cloudera CDH3作為基礎，并在其上進行了大量的改造工作，完全自主研發實現的。目前，已經支持主、從熱備的部署方式，并且通過共享存儲設備，實現主、從節點的元數據同步。在熱備基礎之上，我們也實現了NameNode的自動切換功能。客戶端、主、從節點、數據節點均通過zookeeper判斷主節點信息，通過心跳判斷NameNode健康狀態。
Hadoop高可用解決方案邏輯架構圖
在業界，對于Hadoop NameNode熱備機制也有一些實現方案，例如： facebook，cloudera等IT巨頭均在不遺余力地對Hadoop進行高可用方案的改造，并且已經取得了較大成果。京東商城對Hadoop的持續升級改造一直在進行著：通過zookeeper、心跳等實現了主、從節點的自動切換功能，同時充分地考慮到了防止網絡波動、服務假死等情況；其次，引入了共享存儲異常的處理機制，解決了在共享存儲設備出現異常的情況下，也不會造成元數據丟失或者主/從節點元數據一致性的問題。
京東商城在Hadoop方面的技術突破，標志著京東商城在云計算領域的研究已經進入了深入階段。
推薦閱讀
對于電商平臺上的超低價現象和其中存在的問題，這早已是行業內“公開的秘密”。但“網上遇假”的工商執法手段仍然處于灰色空白地帶。 【IT商業新聞網綜合報道】（記者 蘇黛）11月27日消息，網購成為趨勢，化妝品也不>>>詳細閱讀
地址：http://www.xglongwei.com/a/guandian/yejie/20121229/109490.html
網友點評
精彩導讀
科技快報
品牌展示