Cassandra新特性:分层压缩

Cassandra的数据模型借鉴自Google的BigData模型,简单来说就是将写操作放在一个内存块中,当内存块大小达到一定大小时,将内存中的数据排序后写成一个sstable文件,而这种方式会有一些问题,而前段时间Google的Chromium团队开发的一个开源的key-value存储以其分层压缩机制给了大家一种新的思路,Cassandra也适时的将这种思路引入到Cassandra中,也就是今天我们要介绍的Cassandra的分层压缩。

目前的压缩机制:Tiered Compaction

在讲分层压缩之前,我们先来看一下Cassandra目前的数据存储模型和数据压缩机制。

像我们上面说的一样,Cassandra在内存数据达到一定大小时,会将数据排序写入磁盘生成一个sstable文件块,当第一级的sstable数目达到四个时,由于这四个sstable相当于是按时间划分的一段时间的数据快照,所以这四个块中会有一些相同的数据。我们将这四个sstable会进行合并压缩,就可憎减小空间。具体过程如下图所未:

上图绿色块就表示一个sstable,当第一级的sstable达到四个,就会合并成一个新的第二级的sstable。当然,当第二级的sstable也达到四个,就会再进行合并生成第三级的sstable,以此类推。如果下图所未,当一二三四级sstable都已经有三个,可能这个合并就会一直进行下去。

由于sstable之间可能有重复的数据,也就是同一个数据的不同版本可能存在在多个sstable中,所以上面的方式在更新比较频繁的系统中,可能会有下面一些问题:

  • 第一是性能的影响,由于一条记录可能存在在多个sstable中,最BT的情况下可能某一条记录会存在在所有sstable中,所以具体需要合并多个少sstable才能保证一条记录在所有sstable中只存了一次就变得不太确定了。
  • 这种方式在存储空间上也比较浪费,因为一个被删除的记录可能的老版本可能会一直存在在一些老的sstable中,直到进行一次完整的合并才行。这对于一个经常会有删除操作的系统来说会造成空间的极大浪费。
  • 在不怎么删除的系统上,也会造成一些空间的浪费,最坏的情况下,如果一条记录都没有重复,那么合并操作实际上完全是浪费时间,合并后的数据大小和合并前相比不会变,但是合并操作本身会需要和当前数据集一样大的空间成本。

新的压缩机制:Leveled Compaction

新的压缩机制借鉴自LevelDB,这种机制最大的特点在于其同一层的各个sstable之间不会有重复的数据。所以在某一层和它上一层的数据块进行合并时,可以明确的知道某个key值处在哪个数据块中,可以一个数据块一个数据块的合并,合并后生成新块就丢掉老块。不用一直到所有合并完成后才能删除老的块。

另外,新的分层式压缩方式将数据分成条个层,最底层的叫L0,其上分别是L1,L2….,每一层的数据大小是其上的那一层数据最大大小的10倍,其中最底层L0的大小为5M

如下图所未,当浅绿色的L0块生成时,它会马上和L1层的数据进行合并,并生成新的L1块(蓝色块),当L1的块越来越多,大于这一层的最大大小时,这些块又会和L2层的数据进行合并并生新的L2层的块(紫色块)

可以这样理解,层级越小的块,其保存的数据越少,也越新,比如L0层保存的就是最新的数据版本,但是其只会保存5M数据,其上的L1层会保存50M数据,但是并不是最新的。当一个系统运行的时间足够长,那么其数据结构可能会如下图所未:

这种方式的优点是同一层的块之间没有重复数据,带来的好处就是在合并操作的时候,并不需要扫描一层中的所有数据块。合并的开销变小了。具体能够保证以下一些优点:

  • 可以保证90%的读操作只需要对一个sstable进行随机读操作。而最坏情况下,也能保证读操作最大只会等于层数,如果10T数据的话,也只有七层,只需要七次随机读操作。
  • 在空间利用上,可以保证最多只有10%的空间会浪费在无用数据上。
  • 在压缩合并操作的开销上,也最多只会使用10倍于sstable大小的空间。

你可以通过在创建Column Family时指定compaction_strategy参数为LeveledCompactionStrategy来使用新的分层压缩策略。

当然,这种策略也不是万能的,对于一个更新操作和删除操作比较多的系统,使用分层压缩是比较合适的。因为这种系统会产生同一份数据的多个版本。但是由于这种压缩会在压缩中进行更多的IO操作,所以如果是一个主要是insert操作的系统,建议不要使用分层压缩方法。

来源:www.datastax.com

anyShare一切看了好文章不转的行为,都是耍流氓!
          

无觅相关文章插件,快速提升流量

  1. “这种方式的优点是块之间没有重复数据” 这句话原文是没有啊?!看了http://leveldb.googlecode.com/svn/trunk/doc/impl.html leveldb的impl,它里面也说了,块之间其实还是有重复数据的…

    • 可能是我描述不太清楚,已经修正了,是“同一层的块之间没有重复数据”,在leveldb中其L0是有重复的,所以每次L0的压缩会用到所有L0的块。不过Cassandra的实现上L0只有一个块,所以每一层都没有数据重复。

  2. 好像现在很多网站应用都是以添加为主,例如FB和TW,一天写他几十条,但从来不去翻旧账

  3. 像很多前端应用如你所说确实是以插入为主。但网站中还有一些应用特别是像OLAP这种应用场景中,实际更新操作也是很多的。