Twemproxy – Twitter 开源的 Redis proxy

在去年的QCon London2012 大会上,Twitter 发表了题为 《Timelines @ Twitter》的演讲,里面提到以Redis作为其timeline的主要存储,目前目测全球范围内,Twitter可能是Redis的最大用户了,今天我们要说的这个Twemproxy,是 Twitter 开源出来的 Redis 和 Memcached 代理。

Twitter的海量数据实时系统实现

作为世界上最大的微博客网站,Twitter也有着世界上最大的数据压力,在七月份的一份数据显示,Twitter的日发送量已经突破2亿条,其日独立访问用户早在5月份就达到1.39亿。

下面是Twitter在Qcon London的一个演讲PPT,描述了Twitter最重要的三块实时数据(Tweets,Timelines,Social graphs)的存储实现及架构变迁。在文中可能你会惊叹像Twitter这么大的公司,在其最初也就是用的一些非常土鳖的技术。

NoSQL at Twitter

这是Twitter数据分析部门Leader Kevin Well在 NoSQL EU 2010 会议上的演示稿,不失为一篇NoSQL的系统实例教程。

twitter将elephant-bird开源

twitter的同学们真是无敌,昨天刚发布了其存储框架Gizzard,今天又将其数据分析系统开源。其创新精神与共享精神值得我们每一个人学习。

4月9日,twitter数据分析部门的Kevin Weil同学在twitter开发都博客中发文宣布将twitter用于数据分析的系统开源,项目名为elephant-bird。

twitter发布开源存储框架Gizzard

4月7日早上,twitter开发者博客发文介绍其开发的一套存储分布式存储框架Gizzard(中文意思:肫)。

开发Gizzard的初衷:twitter在架构中使用了很多分布式存储系统,这些系统有许多共通的地方,于是twitter将这些共通的地方集成成为一套框架,这就是Gizzard。