This is the multi-page printable view of this section. Click here to print.
博客
2.1.0 版本发布
Apache HoraeDB(孵化中)团队很高兴地宣布,v2.1.0 版本已于 2024-11-18 发布,这个版本解决了 60 多个问题,并且包括两个主要功能:
1. 引入基于本地磁盘的新 WAL 实现
在之前的版本中,有一个基于 RocksDB 的 WAL。虽然它在大多数情况下运行良好,但存在以下问题:
- 从源代码编译可能是一项具有挑战性的任务,尤其是因为 RocksDB 主要是用 C++ 编写的。
- 对于 WAL 而言,RocksDB 可能有些矫枉过正。如果你对 RocksDB 不熟悉,那么对它进行调整可能会非常具有挑战性。
通过这个新的 WAL,就很好的解决了上面两个问题,而且在性能测试结果,新 WAL 的表现略优于之前的实现,给以后的优化打下了结实的基础。
感兴趣的朋友可以参考这里的设计文档了解更多这个特性的细节。
2. 使用 Apache OpenDAL 访问对象存储
Apache OpenDAL 是一个为访问各种数据存储后端提供统一 API 的项目。以下是一些主要优势:
- 统一的 API:OpenDAL 为访问 AWS S3、Azure Blob Storage 和本地文件系统等不同存储后端提供了一致、统一的 API。
- 优化效率:OpenDAL 在构建时就考虑到了性能。它包括确保高效数据访问和操作的优化功能,使其适用于高性能应用程序。
- 全面的文档:该项目提供了详细的文档,使开发人员更容易上手并了解如何有效地使用该库。
在较新版本的 OpenDAL 中,提供了 object_store
的集成,这非常有利于 HoraeDB 的代码迁移,上层使用的 API 几乎没有发生变化,只需要将对象存储抽象为统一的 OpenDAL operator:
|
|
此外,由于 Apache OpenDAL 实现的 object_store
是基于最新版本的,相较于 HoraeDB 之前使用的版本,object_store
接口发生了变化,为了保证本次升级范围尽量可控,我们选择对其进行兼容。
对新 API 适配的过程中, put_multipart
接口变化最大,因此主要的适配逻辑也在这里,HoraeDB 的做法是:对底层的 put_multipart
接口进行了封装,保证上层代码无修改,具体细节可参考:
说明:在 parquet 最新版本中,写入路径上对新
put_multipart
接口适配程度较高,若用户使用的 parquet 版本 >= 52.0.0,则无需进行适配,若是更老的版本,可参考 HoraeDB 的适配实现。
下载
见下载页面。
总结
其他错误修复和改进请参见此处: https://github.com/apache/horaedb/releases/tag/v2.1.0
我们一如既往地热忱欢迎您加入我们的社区,分享您的真知灼见。
Apache HoraeDB 与你相约北京理工大学
在数字化转型的浪潮中,开源软件人才的培养是信息技术创新发展的重要根基,高校学子作为我国开源生态的源头活水备受重视。10 月 26 日 CCF 开源发展委员会“开源高校行”活动将走进北京理工大学与高校师生交流分享,共同推进开源教育,建立产学研用一体化开源创新人才培养体系。诚邀您的参与!
Apache HoraeDB PPMC 成员 任春韶 将带来 Optimizing Apache HoraeDB for High-Cardinality Metrics at AntGroup 为题的分享,欢迎在场的朋友前来观看、交流 🤝
活动须知
- 时间:2024 年 10 月 26 号 18:30-20:05
- 地点:北京理工大学良乡校区文萃楼 I 405
Apache HoraeDB 与你相约 Community Over Code 北美大会
在数字化浪潮席卷全球的今天,开源软件已成为推动科技创新的核心驱动力。ApacheCon 作为全球最具影响力的开源盛会之一,每年都吸引着来自世界各地的开发者、技术专家和企业代表。
这次 Community Over Code 北美大会将在丹佛君悦大酒店举行为期四天的现场会议,重点讨论搜索、大数据、物联网、社区、地理空间、金融技术和许多其他主题。
Apache HoraeDB PPMC 成员 jiacai2050 将带来 Optimizing Apache HoraeDB for High-Cardinality Metrics at AntGroup 为题的分享,欢迎在场的朋友前来观看、交流 🤝
更多议程内容,可以参考官网的 Sessions Schedule 。
欢迎 Apache HoraeDB 新晋 Committer: 鲍金日
各位开发者们,
今天很高兴宣布,HoraeDB 社区新增了一个 committer:鲍金日,他之前的贡献得到 HoraeDB PPMC 的一致认可,并于 2024-09-10 投票成为 committer,感谢他一直以来的贡献。下面是他的贡献记录:
需要明确一点,成为 committer 并不需要额外做什么,主要是方便开发者后续可以更便利(有仓库写权限)地参与社区贡献。
最后,再次感谢鲍金日一直以来对社区的付出,衷心希望他能继续贡献,共同见证社区的成长。
欢迎更多感兴趣的朋友加入我们的社区,与我们近距离交流。
预告:第一次线上会议
各位开发者们,
欢迎大家参加我们的第一次线上会议!这次会议标志着我们团队在项目开发过程中的一个重要里程碑,也是我们合作共赢的开始。
会议目的
这次会议的主要目的是让大家相互认识,了解项目的总体目标,讨论开发的初步计划,并明确各自的角色和责任。我们希望通过此次会议,能够为接下来的工作奠定坚实的基础,并建立起一个高效、透明的沟通机制。
主要议题
- Apache HoraeDB 项目现状介绍
- 新 Metric Engine 设计方案介绍
参会方式
入会链接:https://meeting.dingtalk.com/j/011mRkbIdqL
可通过浏览器直接入会,无需下载钉钉。
也欢迎感兴趣的朋友可以加入我们的社区(钉钉群、微信公众号等),获取社区最新动态。
会议时间
2024 年 08 月 27 日 周二,21:00-22:00 (GMT+8)