twitter将elephant-bird开源

twitter的同学们真是无敌,昨天刚发布了其存储框架Gizzard,今天又将其数据分析系统开源。其创新精神与共享精神值得我们每一个人学习。

4月9日,twitter数据分析部门的Kevin Weil同学在twitter开发都博客中发文宣布将twitter用于数据分析的系统开源,项目名为elephant-bird

当然,这套系统也是站在了很多巨人的肩上。作者在文中指出了应用的主要技术,包括:HadoopPig,HBase,LZO压缩及google的protocol buffers.

We’re releasing a whole bunch of code that we use with Hadoop and Pig specifically around LZO and Protocol Buffers. Use it, fork it, improve upon it.

twtter开发者博客原文链接:http://engineering.twitter.com/2010/04/hadoop-at-twitter.html翻墙更健康!

项目地址:http://github.com/kevinweil/elephant-bird

anyShare分享此文章的同学,将有机会送我iphone5!
          

无觅相关文章插件,快速提升流量