北京時間8月31日下午消息,Twitter開源項目經理克里斯·阿里斯扎克(Chris Aniszcyk)今天在CloudOpen大會上做了主題演講,講述了Twitter是如何使用開源技術的。
阿里斯扎克在演講中列舉了被Twitter使用的開源技術,包括:
——MySQL。MySQL是一種關系型數據庫的開源技術,該技術被Twitter大量采用,主要用來存儲Twitter消息。Twitter公司與其它上游社區協作,開創了MySQL一個重要的開源分支。
——Cassandra、Hadoop、Lucene、Pig以及其它多種被Twitter用來支持分析和搜索服務的Apache項目。阿里斯扎克表示,該公司也對這些技術有回饋,反過來促進這些技術的進步。Twitter是Apache軟件基金會的贊助商之一。Cassandra是一種 NoSQL數據庫。Hadoop是一種分布式文件系統,通常與高級語言一起搭配使用,譬如Pig。Lucene是一種開源搜索技術。Pig是一種用于大數據分析的高層次平臺。
——Memcached。Memcached被用于Twitter的緩存基礎設施,以應對日益增長的訪問流量。最近,Twitter公布的 Twemcache開源項目很大程度上受到Memcached代碼庫的啟發。Memcached的作用是加速動態Web應用程序,減輕數據庫負載。
此外,Twitter還開源了一些該公司專用的軟件,包括:
——Lago。Lago是一個負載生成器,用來在產品正式發布前做流量負載測試。
——Ziplink。Ziplink是一個分布式跟蹤系統,被用于收集應用服務對Twitter API發起請求時的時序數據。本質上講,Ziplink的作用就是幫助Tiwtter更快。
——Scalding。Scalding是一個Scala庫,它能使在Hadoop中寫入MapReduce時變得更容易。Scalding是 Twitter為層疊(Cascading)而開發的項目。層疊是一種專為Java開發者設計的用于在Hadoop上建立大數據應用的框架。 Scalding廣為人知的功能是能夠抽象復雜的MapReduce以及讓Hadoop集群更容易管理。MapReduce最初由谷歌開發,用來處理搜索數據。Scala是一種通用編程語言。
除Twitter外,Facebook和谷歌也開源了他們的部分技術。開源趨勢在企業市場尤為明顯,以分布式計算開源框架Hadoop為例,該技術最初主要由雅虎開發,但現在已經成為企業市場大數據推送的基礎技術。
推薦閱讀
相當部分外資公司以調整產能布局來回應勞動力成本上漲,其中代工企業更是明顯。以總部位于香港的服裝代工商聯泰控股(0311.HK)為例,董事局主席陳守仁即在公司2011年報中表示,“中國在生產一些需要高技術勞工以及短>>>詳細閱讀
地址:http://www.xglongwei.com/a/xie/20120330/118840.html