阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

用Rust 实现的现代化实时开源数据仓库

91次阅读
没有评论

共计 2292 个字符,预计需要花费 6 分钟才能阅读完成。

导读 TensorBase 的元数据层、运行时层和存储层。在存储层,TensorBase 非经典的列式存储。这其中最重要的,我们给出了一个反重力设计:No LSM。我们不再使用在目前开源数据库及大数据平台流行的 LSM Tree(Log Structured Merge Tree)数据结构。
一、简单介绍

TensorBase 是使用 Rust 实现的现代化实时开源数据仓库。

二、特性

All in Rust。TensorBase 称已经在日常测试中经历数十 TB 的数据注入锤炼,是目前 Rust 社区中,面向用户特别是中小企业实际场景深度优化的、生产完成度最高的通用数据仓库类项目。
开箱即用。TensorBase 已经支持从数据插入或导入到查询完整数据仓库流程,具备了较高的早期完成度,用户可以从 TensorBase 的 Release 页下载相关 Linux 环境下的二进制文件,进行尝试。(Windows 10 的 WSL2 目前应该也可以使用)
兼容 ClickHouse 协议。ClickHouse 是一个 C++ 编写的数据仓库。TensorBase 则使用 Rust 语言从头开始实现了一个高性能的 ClickHouse SQL 方言解析器和 TCP 通讯协议栈。ClickHouse TCP 客户端可以无缝连接 TensorBase。
性能为先。TensorBase 期望通过新的软件和系统设计将现代硬件的所有潜力发挥出来。TensorBase 首次在核心链路代码上实现了“F4”:Copy-free,Lock-free,Async-free,Dyn-free(无动态对象分发)。初步的性能评估显示:在 14.7 亿行的纽约出租车数据集上,TensorBase 的简单查询的性能上已经领先 ClickHouse。
化繁为简。目前的大数据系统使用非常复杂,即使想运行一个最简单的系统,都需要配置大量难以理解的参数或者安装大量第三方依赖。
对于用户,除了现在已经达成的开箱即用,TensorBase 希望系统在运行时能在自治运行,而不是依赖运维管理员。
对于开发者,TensorBase 希望将贡献门槛降低。整个项目架构设计简洁高效(更多信息参见后文),项目外依赖很少,完全重新编译(cargo clean 到 cargo build)的单机时间在 1 分钟之内。(大数据系统或者 C++ 数据库的完整构建时间往往以小时计。)
互联未来。TensorBase 在核心上改造了 Apache Arrow 和 DataFusion,无缝支持 Arrow 格式查询、分析和传输。Arrow 格式作为越来越广泛采用的大数据交换中间格式,已经被多个数据库及大数据生态平台所支持。TensorBase 在引擎上兼容 Arrow,未来可以同时支持云原生和云中立场景下的数据仓库体验,提供存储中立的数据湖服务。

三、架构

用 Rust 实现的现代化实时开源数据仓库

  • Base Server
  • TensorBase 服务接口层。对外提供数据的接口服务,比如数据的写入和查询入口。TensorBase 创造性的实现了世界上第一个非 C++ 的 ClickHouse TCP 协议服务栈,可以支持 ClickHouse 客户端(clickhouse-client 命令行)以及 native 协议语言驱动的直接连接。同时,Base Server 是第一个 async 中立的 Rust 高性能服务器。Base Server 基于改造的 Actix 事件循环,在服务的实现中完全不使用 async,在提供绝佳的可调试性的同时,评测性能也大幅超过基于 tokio 默认 async 表达层的实现。未来可以引入非 tokio 的网络 io 层实现。
  • Base Meta/Runtime/Storage
  • TensorBase 的元数据层、运行时层和存储层。在存储层,TensorBase 非经典的列式存储。这其中最重要的,我们给出了一个反重力设计:No LSM。我们不再使用在目前开源数据库及大数据平台流行的 LSM Tree(Log Structured Merge Tree)数据结构。而是使用一种我们自己称之为 Partition Tree 的数据结构,数据直接写入分区文件,在保持 append only 写入性能的同时,避免了 LSM 结构的后续 compact 开销。得益于现代 Linux 内核的支持和巧妙的写入设计,我们在用户态(User-space)核心读写链路上不使用任何锁(Lock-free),最大程度的发挥了高并发网络服务层所提供的能力,可以提供超高速数据写入服务。
  • Base Engine
  • TensorBase 的引擎层。TensorBase 使用改造过的 Apache Arrow 和 DataFusion,并创造性的将底层存储适配到 Arrow 格式,实现了 Zero Copy 的数据查询。当然,目前的适配性存储策略,还只算是一个现在进行中的次优解,TensorBase 未来会对存储层进行持续迭代,提供更多与时俱进的优化。同时,TensorBase 也将进一步地优化帮助 Arrow/DataFusion 社区优化其查询引擎的性能,和社区一起成长。
  • 其他
  • TensorBase 还有一些基础性的组件,比如:
  • base,通用工具库;
  • lang,语言层(目前主要实现一个 ClickHouse 兼容解析和表示层)。
  • lightjit,类表达式 JIT 引擎,未来可扩展至高性能和安全可控的用户定义函数 UDF(User Defined Functions)层。TensorBase 未来将进一步开发和开放自己的高性能基础件,为 Rust 社区贡献一些独特的高性能可复用基础设施。
  • 注意,架构图中的虚线连接尚未实现,这是一个全景式的架构蓝图。

    用 Rust 实现的现代化实时开源数据仓库

    阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

    腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

    代金券:在阿里云专用满减优惠券

    正文完
    星哥玩云-微信公众号
    post-qrcode
     0
    星锅
    版权声明:本站原创文章,由 星锅 于2024-07-24发表,共计2292字。
    转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
    【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
    阿里云-最新活动爆款每日限量供应
    评论(没有评论)
    验证码
    【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中