foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB)
foursquare 作为当下最火热的LBS应用,其checkin数据在去年已经达到了4亿次,面对庞大的数据,他们搭建了一套数据分析系统。本文就是对此系统的一个介绍。
原文链接:http://goo.gl/lfwlg
先上高清大图:
- 分析系统利用Hadoop 的Map/Reduce 功能来进行数据分析,多台机器组成集群进行并行计算。
- 在Hadoop上层用Hive 完成数据接口转换功能。Hive 是一个将Hadoop封闭成类似于SQL数据库的中间层组件。
- 在用户与数据分析中间,是一个由Redis,MongoDB 和 Rails 组成的数据服务器,它充当获取数据的中间角色,让数据分析系统与用户完全分离。
42区 VPS
42qu.com 云主机 , 卖给创业的你 。 点击这里 , 查看详情
| anyShare据说看到好文章不转的人,服务器容易宕机! | |
| |


