LSM-tree存储引擎的优化研究成果总结（3）-架构的优

如上图所示LSM-DS的模型不妨碍抽象成上图的方法所依据的的读写乞求网站死链查询所依据的的读写乞求城市波及PdPm和P'm这三 一个指针共时后盾的compact责任也必须要检查和建改这3个指针架构。那么如许一来这三个指针便必定进行一些共步的安排来保护精确性介绍本文的核心即是供给了一组算法来最大化的降矮锁比赛和提高并发度从而提高本能总结。上图中抽象的模型和三个指针的含意格外容易领会大师瞅图中的刻画笔墨吧便不多解释白研究成果。

为了实行高并发论文安排了二个钩子函数分别是beforeMerge和 afterMerge在compact（大概者说merge）之前和之后调用存储。compact过程（大概者说merge过程）中断之后返回一个新的指针指向磁盘的组件而且动作参数传播给afterMerge函数引擎。假如内存中的内存是多线程宁靖的那么get乞求不必加锁因为纵然在get安排过程中这3个指针爆发了改变那么也不效率精确性最坏的情景是某些组件被检查了 二次优化。然而是put安排便须要经心安排了预防putdata到作废的内存component上LSM-tree。因此论文发布了感知锁来封闭于理解安排进行共步控制。基础的算法如下图所示：

上头的算法不计划snapshot的效率好像levelDB咱们不妨碍用实行来实现snapshot效率然而是约会snapshot效率之后算法必须要计划更多闭于 快照的细节优化之后的算法如下图：

必须要一个特殊的活动表来记录十脚被快照的timestampput的过程不太大的转换只是在插入memtable之后多了一个getTs （）的函数调用返回适合的ts而且把ts从active表中简略多了一个GetSnap函数论文中留神解释白若只采用姑且时间直接动作快照快照的问题实质上是 put安排必须要持续削减所以算法进行了优化来处理这个问题。办法即是保护active表天然active表尽大概lockfree来干到无阻塞。getSnap会采用比十脚active表里timestamp都小的一个动作时间戳。计划到getSnap也救济并发安排关键词布局策略天然active表尽大概lockfree来干到无阻塞。getSnap会采用比十脚active表里timestamp都小的一个动作时间戳。计划到getSnap也救济并发安排必须要保留神革新snapTime变量然后重新安排了CAS安排。-modify-write的算法留神算法大师观看论文吧。在实行上cLSM基于levelDB建改了代码。levelDB运用了一个全部mutex来保护临界区因为惟有替换写线程所以不约会好像活动表如许搀杂的机制。cLSM使用上述算法救济了本生levelDB的十脚接口尽力的取消了代码中必须要阻止的场合。因为cLSM取消了临时写线程的节制所以log中的数据大概会展示无序局面却因为每个item都通联了时间戳所以随着时间来恢复日记也格外容易。

LSM-tree存储引擎的优化研究成果总结(3)--架构的优

归纳下论文经过精巧 的安排并发控制算法最大极限的缩小了代码的临界区提高了理解并发度然而尔认为救济并发写闭在本能提高帮帮不大因为不管是SSD仍旧呆板硬盘程序写的本能都要超过并发写。闭于于读本能提高而言从论文中指出的数据来瞅效验不错提高了一倍以上而这只不过当当数据读乞求的距离达到CPU的时间因为绝时势部不得不都在保存 设备上而不是CPU。所以完全上瞅论文的探究残留实用性不是特别强只是闭于上述情景有本能提高的效验和上风其他本文论文的精确性缺乏论证如果论文不妨碍提供一份机会TLA +的方法化证明 PebblesDB：使用碎片化的日志结构的合并树构建键值存储

这篇论文登载在2017年的SOSP上读完之后创造论文的思绪和dostoevsky有异曲共工之 妙 咱们领会LSM的模型重要的写夸大在于紧凑特别是闭于于好像levelDB这种水平紧凑的样式必须要屡次读写level i和level i + 1的数据关键词布局策略必须要屡次读写level i和level i + 1的数据因此会约会更多的IO安排。因此RocksDB保留了紧凑的样式只是在普遍的级别长进行紧凑而不是层与层之间的紧凑。