key-list类型内存数据引擎介绍及使用场景

key-list系统key对应的”value”是一个list(eg.set list),可以对list中的单个item进行操作
key-value实现list功能
什么是key-list
使用场景
开源的key-list系统 redis memlink

MongoDB、HandlerSocket和MySQL性能测试及其结果分析

下面是一个关于 MongoDB、HandlerSocket 及 MySQL 的性能测试的结果分析。

将Berkeley DB作为NoSQL使用

注:做为一个有20余年历史的产品,Berkeley DB有其远高于其它NoSQL在工业环境使用的经验和教训,从笔者在Berkeley DB Java Edition的经验来看,它可能不适合作为类型Cache的产品,但是由于其架构上的特性,它非常适用于超大数据量(单机数百G)、缓存化比较糟糕的场景,或用做Cache后端的存储(基本是全表随机读)。

Berkeley DB概要

目前Berkeley DB家族主要由以下三部分构成:

Berkeley DB – 由C语言开发. 这是最古典的种类.

Berkeley DB Java Edition (JE) – 由Java开发.

Berkeley DB XML – 由C++开发。

BeansDB设计与实现

继续预热Qcon Beijing 2011,下面是豆瓣的Key-value存储BeansDB,作者是刘洪清,详情请参照Qcon Beijing 2011。

这里有一个作者发布的slide:http://www.slideshare.net/DaviesLiu/inside-beansdb

简介

BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统,采用HashTree和简化的版本号来快速同步保证最终一致性(弱),一个简化版的Dynamo。

它采用类似memcached的去中心化结构,在客户端实现数据路由。目前只提供了Python版本的客户端,其它语言的客户端可以由memcached的客户端稍加改造得到。

Google Group:?http://groups.google.com/group/beandb/

Facebook分布式日志收集框架:Scribe

Scribe是用来收集日志的服务器.它具备很强的扩展能力,并且网络故障及服务器节点故障,都不会对日志收集造成影响.大规模集群系统中每个节点上都运行了一个Scribe服务,这个Scribe服务器可以收集信息然后将信息发送到一个中央Scribe服务器(也可以是多个中央Scribe服务器)如果中央Scribe服务器(或中央服务器组)出现故障不可用的话,各个节点的Scibe服务器就会将日志信息写到本地磁盘待中央Scribe服务器恢复正常时再发送.中央Scribe服务器会将这些信息写文件保存到最终的磁盘地址,一般是nfs文件系统或者一个分布式文件系统中,有时也会把这些日志文件传输到其他层的Scribe服务器组中.

Redis资料汇总

本资料大全转自redcreen同学的博客,是一个不错的学习 Redis 的系列阅读资料。

一.redis 环境搭建
二.redis 数据类型
三.redis 排序
四.redis 事务
五.redis pipeline
六.redis 发布订阅
七.redis 持久化
八.redis 主从复制
九.redis学习笔记之虚拟内存
十. redis java client

CouchDB 全面介绍-概念、特性及实现

下面一篇文章发表在一年多以前,很遗憾今天才看到,本文可以说是我看过的对 CouchDB 的最全面的介绍。

MongoDB 1.8 RC0版本的几个特性

前两天MongoDB发布了1.8版本,看到的大多数描述都是说到增加了Journaling日志文档这个改进,今天抽空看了一下Release Note,发现还有几个比较有用的特性,分享在这里:
1.Journaling 日志文档增加单机可靠性
2.Sparse Index 和 Covered Index
3. Map/Reduce 输出模式可配置

Amazon Dynamo 相关的一些知识

说到Amazon Dynamo,可能没有比官方的那篇论文更详尽的描述了。之前读它的时候,就一直觉得没有Google 的 BigTable 论文给力,如果你也觉得读Dynamo 的论文比较吃力,下面推荐的这篇文章可能会给你一点安慰并且可能帮助你更好的理解Dynamo 论文。

图形化理解 HBase 数据写操作、压缩操作过程

HBase 写数据的过程是:先写到内存中(memstore),当内存中的数据达到一定大小,将内存中的数据一次性flush到磁盘上形成数据文件。期间对每一次写操作,都会记一个持久化的日志。那些 flush 到磁盘上的文件,会定时进行压缩。下图形像地说明这一系列过程:

下一页 »