RocksDB
RocksDB 是一个用于键值数据的高性能嵌入式数据库 [2] [3] [4] [5] [6]。它由 Google LevelDB 分支而来,针对输入/输出(I/O)性能受限的负载状况,对多核处理器(CPUs)进行了优化,可以有效利用高速存储,如固态驱动器(SSD)等。它采用结构化日志合并树(LSM 树)的数据结构,由 C++ 开发,并在官方提供 C++ 、 C 和 Java 的语言绑定,并由众多其他第三方语言绑定所支持。 RocksDB 是免费的开源软件,最初发布于 BSD 3 条款许可下 [7] [8] [9]。2017 年 7 月,项目迁移到 Apache 2.0 和 GPLv2 的双重许可下 [10]。在将先前的 BSD+Patents 许可条款列入黑名单之后,这一改变有助于它在 Apache 软件基金会的项目中得到采用 [11] [12]。
原作者 | Dhruba Borthakur |
---|---|
開發者 | Meta Platforms (was Facebook, Inc.) |
首次发布 | 2012年5月 |
当前版本 |
|
源代码库 | |
编程语言 | C++ |
操作系统 | Windows, macOS, Linux, FreeBSD, OpenBSD, Solaris, AIX |
平台 | Cross-platform |
类型 | Embedded database |
许可协议 | Apache 2.0 or GPL 2 |
网站 | rocksdb |
RocksDB 被广泛用于各大互联网企业 [13] 的生产环境,这些厂商包括 Facebook 、 Yahoo! [14] 和 LinkedIn [15] 等。
特性
RocksDB 与 LevelDB 一样,将键和值存储在任意字节数组中,并且数据按键或通过提供自定义比较器按字节排序。
RocksDB 提供了 LevelDB 的所有功能,此外还包括:
- 事务 [16]
- 备份 [17] 和快照 [18]
- 列族 [19]
- 布隆过滤器 [20]
- 生存时间 (TTL) 支持 [21]
- 通用压实 [22]
- 合并运算符 [23]
- 统计收集 [24]
- 地理空间索引 [25]
以及其他 RocksDB 包含但 LevelDB 中没有的功能。
RocksDB 并不是一种 SQL 数据库(尽管在 MyRocks 中结合了 RocksDB 与 MySQL)。类似于 NoSQL 和 dbm 存储的实现,RocksDB 使用的不是关系数据模型,不支持 SQL 查询。另外,它也不提供对二级索引的直接支持,不过,用户可通过列族构建索引。在使用方面,应用程序需要以库的形式调用 RocksDB,其本身并不提供服务器或命令行界面。
历史
2012 年 4 月,时任 Facebook 开发者的 Dhruba Borthakur 在 LevelDB 的基础上创建了一个新分支,自此开启了 RocksDB 项目[26] [27]。项目的初衷是提高服务器在高工作负载下的性能 [28] [29]。
集成
作为一个嵌入式数据库,RocksDB 可用作大型数据库管理系统(DBMS)中的存储引擎。例如,Rockset 使用 RocksDB [30] 用于分析数据处理。
替代后端
以下项目已将现有数据库系统替换为 RocksDB,或把 RocksDB 作为备选存储引擎:
Cassandra
采用 RocksDB 可显著提高 Cassandra 的性能。一般情况下快 3-4 倍,个别用例中快至 100 倍。该项目由 Facebook 的 Instagram 团队开发,他们在开源代码的同时也发布了性能结果基准 [33]。
MariaDB
MariaDB 可将 MyRocks 用作存储引擎,后者为 RocksDB 的一个分支。该功能自 MariaDB 10.2.5(Alpha 版)[34] 起可用,于 2018 年的 MariaDB 10.2.16 版后稳定 [35]。
MongoDB
MongoRocks 项目为 MongoDB 提供了一个存储模块,其存储引擎为 RocksDB [36] [37] [38]。
Rocks Strata 项目与该项目有关。当把 RocksDB 用作存储引擎时,这个采用 Go 语言编写的工具可用于管理 MongoDB 的增量备份 [39]。
Oxigraph
Oxigraph是一个实现 SPARQL 标准的图数据库,它基于RocksDB。
UKV 项目 [43] 允许用户使用 RocksDB 作为底层键值存储。它对创建、读取、更新和删除(CRUD) 这些不同存储引擎都会涉及的共有操作进行了抽象,并对多个高级语言(包括 Python、 Java 和 Go )进行结构化绑定。
嵌入式
以下数据库系统和应用程序选择使用 RocksDB 作为其嵌入式存储引擎:
Ceph's BlueStore
Ceph's BlueStore 存储层采用 RocksDB 对 OSD 设备中的元数据进行管理 [44]。
Apache Flink
Apache Flink 采用 RocksDB 存储检查点 [45]。
LogDevice LogsDB
LogDevice 的 LogsDB 构建在 RocksDB 之上 [48]。
Manhattan
自 2018 年以来,Manhattan 分布式键值存储系统一直采用 RocksDB 作为存储 Twitter 数据的主要引擎 [49]。
YugabyteDB
YugabyteDB [55] 数据库采用 RocksDB 的修改版本作为其 DocDB 存储引擎的一部分。
第三方语言绑定
可用于 RocksDB 的第三方编程语言绑定包括:
参考
- https://github.com/facebook/rocksdb/releases/tag/v8.10.0; 出版日期: 2023年12月15日; 检索日期: 2023年12月15日.
- . GitHub. [November 29, 2015].
- . 7 July 2014 [March 10, 2016].
- . 27 April 2015 [March 10, 2016].
- . 20 June 2014 [March 10, 2016].
- Golan-Gueta, Guy; Bortnikov, Edward; Hillel, Eschar; Keidar, Idit. . April 21, 2015: 1–14. ISBN 9781450332385. doi:10.1145/2741948.2741973.
- . 21 November 2013 [March 10, 2016].
- . Facebook. [March 10, 2016].
- . [March 10, 2016].
- . GitHub. [July 20, 2017].
- . The Register. [July 20, 2017].
- . GitHub. [July 20, 2017].
- . GitHub. [December 1, 2015].
- . [March 10, 2016].
- . [March 10, 2016].
- . GitHub. [2016-04-04].
- . GitHub. [2017-07-19].
- . GitHub. [2017-07-19].
- . GitHub. [2016-04-04].
- . GitHub. [2016-04-04].
- . GitHub. [2016-04-04].
- . GitHub. [2016-04-04].
- . GitHub. [2016-04-04].
- . GitHub. [2016-04-04].
- . rocksdb.org. [2018-07-19].
- . GitHub. May 10, 2012 [March 15, 2016].
- . GitHub. Nov 30, 2012 [March 15, 2016].
- . November 24, 2013 [March 10, 2016].
- Borthakur, Dhruba. . YouTube. November 22, 2013 [March 10, 2016].
... The story of why we decided to do RocksDB ...
- Dhoot, Sandeep. . rockset.com. 2019-06-27 [2023-03-01].
- .
- . 6 September 2018.
- . 5 March 2018.
- . MariaDB KnowledgeBase. [2019-04-28].
- .
- . GitHub. 29 October 2021.
- . [July 19, 2018].
- . [December 1, 2015].
- . GitHub. 31 October 2021.
- . GitHub. 2 November 2021.
- (PDF). [November 29, 2015].
- . 19 April 2016 [May 9, 2016].
- . GitHub. 28 December 2022.
- .
- . ci.apache.org. [2019-08-11].
- . Evolved Binary.
- (PDF). XML Prague.
- . Mark Marchukov, Facebook. 31 August 2017.
- . Twitter. 28 December 2022.
- . rockset.com. [2019-07-10] (英语).
- . GitHub. 21 August 2021.
- https://ssdb.io
- . GitHub. 4 November 2021.
- . Shen Li. 11 July 2017.
- . 20 February 2019.
- . GitHub. 28 September 2021.
- .
- . GitHub. 22 October 2019.
- . GitHub. September 2021.
- . GitHub. September 2021.
- .
- . GitHub. 29 October 2021.
- .
- . GitHub.
- . 25 March 2022.
- . GitHub.
- . GitHub. 2 August 2021.
- . GitHub. 8 October 2021.
- . GitHub. 28 September 2020.
- .
- . GitHub. 11 August 2021.
- .
- . GitHub. 27 October 2021.
- .
- . GitHub. 2 November 2021.