2.1.0 版本发布

Apache HoraeDB(孵化中)团队很高兴地宣布,v2.1.0 版本已于 2024-11-18 发布,这个版本解决了 60 多个问题,并且包括两个主要功能:

1. 引入基于本地磁盘的新 WAL 实现

在之前的版本中,有一个基于 RocksDB 的 WAL。虽然它在大多数情况下运行良好,但存在以下问题:

  • 从源代码编译可能是一项具有挑战性的任务,尤其是因为 RocksDB 主要是用 C++ 编写的。
  • 对于 WAL 而言,RocksDB 可能有些矫枉过正。如果你对 RocksDB 不熟悉,那么对它进行调整可能会非常具有挑战性。

通过这个新的 WAL,就很好的解决了上面两个问题,而且在性能测试结果,新 WAL 的表现略优于之前的实现,给以后的优化打下了结实的基础。

写入速率对比
写入速率对比
回放速率对比
回放速率对比

感兴趣的朋友可以参考这里的设计文档了解更多这个特性的细节。

2. 使用 Apache OpenDAL 访问对象存储

Apache OpenDAL 是一个为访问各种数据存储后端提供统一 API 的项目。以下是一些主要优势:

  • 统一的 API:OpenDAL 为访问 AWS S3、Azure Blob Storage 和本地文件系统等不同存储后端提供了一致、统一的 API。
  • 优化效率:OpenDAL 在构建时就考虑到了性能。它包括确保高效数据访问和操作的优化功能,使其适用于高性能应用程序。
  • 全面的文档:该项目提供了详细的文档,使开发人员更容易上手并了解如何有效地使用该库。

在较新版本的 OpenDAL 中,提供了 object_store集成,这非常有利于 HoraeDB 的代码迁移,上层使用的 API 几乎没有发生变化,只需要将对象存储抽象为统一的 OpenDAL operator:

1
2
3
4
5
// Create a new operator
let operator = Operator::new(S3::default())?.finish();

// Create a new object store
let object_store = Arc::new(OpendalStore::new(operator));

此外,由于 Apache OpenDAL 实现的 object_store 是基于最新版本的,相较于 HoraeDB 之前使用的版本,object_store 接口发生了变化,为了保证本次升级范围尽量可控,我们选择对其进行兼容。

对新 API 适配的过程中, put_multipart 接口变化最大,因此主要的适配逻辑也在这里,HoraeDB 的做法是:对底层的 put_multipart 接口进行了封装,保证上层代码无修改,具体细节可参考:

说明:在 parquet 最新版本中,写入路径上对新 put_multipart 接口适配程度较高,若用户使用的 parquet 版本 >= 52.0.0,则无需进行适配,若是更老的版本,可参考 HoraeDB 的适配实现。

下载

下载页面

总结

其他错误修复和改进请参见此处: https://github.com/apache/horaedb/releases/tag/v2.1.0

我们一如既往地热忱欢迎您加入我们的社区,分享您的真知灼见。

Apache HoraeDB 与你相约北京理工大学

在数字化转型的浪潮中,开源软件人才的培养是信息技术创新发展的重要根基,高校学子作为我国开源生态的源头活水备受重视。10 月 26 日 CCF 开源发展委员会“开源高校行”活动将走进北京理工大学与高校师生交流分享,共同推进开源教育,建立产学研用一体化开源创新人才培养体系。诚邀您的参与!

Apache HoraeDB PPMC 成员 任春韶 将带来 Optimizing Apache HoraeDB for High-Cardinality Metrics at AntGroup 为题的分享,欢迎在场的朋友前来观看、交流 🤝

活动须知

  • 时间:2024 年 10 月 26 号 18:30-20:05
  • 地点:北京理工大学良乡校区文萃楼 I 405

Apache HoraeDB 与你相约 Community Over Code 北美大会

在数字化浪潮席卷全球的今天,开源软件已成为推动科技创新的核心驱动力。ApacheCon 作为全球最具影响力的开源盛会之一,每年都吸引着来自世界各地的开发者、技术专家和企业代表。

这次 Community Over Code 北美大会将在丹佛君悦大酒店举行为期四天的现场会议,重点讨论搜索、大数据、物联网、社区、地理空间、金融技术和许多其他主题。

Apache HoraeDB PPMC 成员 jiacai2050 将带来 Optimizing Apache HoraeDB for High-Cardinality Metrics at AntGroup 为题的分享,欢迎在场的朋友前来观看、交流 🤝

更多议程内容,可以参考官网的 Sessions Schedule

欢迎 Apache HoraeDB 新晋 Committer: 鲍金日

各位开发者们,

今天很高兴宣布,HoraeDB 社区新增了一个 committer:鲍金日,他之前的贡献得到 HoraeDB PPMC 的一致认可,并于 2024-09-10 投票成为 committer,感谢他一直以来的贡献。下面是他的贡献记录:

需要明确一点,成为 committer 并不需要额外做什么,主要是方便开发者后续可以更便利(有仓库写权限)地参与社区贡献。

最后,再次感谢鲍金日一直以来对社区的付出,衷心希望他能继续贡献,共同见证社区的成长。

欢迎更多感兴趣的朋友加入我们的社区,与我们近距离交流。

预告:第一次线上会议

各位开发者们,

欢迎大家参加我们的第一次线上会议!这次会议标志着我们团队在项目开发过程中的一个重要里程碑,也是我们合作共赢的开始。

会议目的

这次会议的主要目的是让大家相互认识,了解项目的总体目标,讨论开发的初步计划,并明确各自的角色和责任。我们希望通过此次会议,能够为接下来的工作奠定坚实的基础,并建立起一个高效、透明的沟通机制。

主要议题

  1. Apache HoraeDB 项目现状介绍
  2. 新 Metric Engine 设计方案介绍

参会方式

入会链接:https://meeting.dingtalk.com/j/011mRkbIdqL

可通过浏览器直接入会,无需下载钉钉。

也欢迎感兴趣的朋友可以加入我们的社区(钉钉群、微信公众号等),获取社区最新动态。

会议时间

2024 年 08 月 27 日 周二,21:00-22:00 (GMT+8)