Apache Doris 2.0.2 版本正式发布!

news/2024/7/24 10:21:57 标签: apache, 数据库, 大数据, 数据仓库, 数据分析

峰会官网已上线,最新议程请关注:doris-summit.org.cn 点击报名

亲爱的社区小伙伴们,Apache Doris 2.0.2 版本已于 2023 年 10 月 6 日正式发布,该版本对多个功能进行了更新优化,旨在更好地满足用户的需求。有 92 位贡献者为 Apache Doris 2.0.2 版本提交了功能优化项以及问题修复,进一步提升了系统的稳定性和性能,欢迎大家下载体验。

GitHub下载https://github.com/apache/doris/releases/tag/2.0.2-rc05

官网下载页https://doris.apache.org/download/

重要更新


  • 删除与 lambda 函数语法冲突的 json“->”运算符,可以使用函数 json_extract 代替。#24679
  • metadata_failure_recovery 从 fe.conf 移动到 start_fe.sh 参数,以避免异常操作。#24308
  • 对于普通类型中的 null 值使用 \n 来表示,对于复杂类型或嵌套类型的 null 值,跟 JSON 类型保持一致、采取 null 来表示。#24207
  • 优化 BE 节点 priority_network 配置项的绑定策略,如果用户配置了错误的 priority_network 则直接启动失败,以避免用户错误地认为配置是正确的。如果用户没有配置 priority_network,则仅从 IPv4 列表中选择第一个 IP,而不是从所有 IP 中选择,以避免用户的服务器不支持 IPv4。 #23795 #23784
  • 支持取消正在重试的导入任务,修复取消加载失败的问题。#17730

功能优化


01 易用性提升

  • 某些场景下,用户需要向集群中添加一些自定义的库,如 lzo.jar、orai18n.jar 等。在过去的版本中,这些 lib 文件位于 fe/lib 或 be/lib 中,但在升级集群时,lib 库将被新的 lib 库替换,导致所有自定义的 lib 库都会丢失。在新版本中,为 FE 和 BE 添加了新的自定义目录 custom_lib,用户可以在其中放置自定义 lib 文件。#23887
  • 支持基于用户角色的权限访问控制,实现了行级细粒度的权限控制策略。#23022

02 改进查询优化器 Nereids 统计信息收集

  • 在运行 Analysis 任务时禁用 File Cache,Analysis 任务是后台任务,不应影响用户本地 File Cache 数据。#23663
  • 在过去版本中,查看列的统计信息时将忽略出现错误的列。在新版本中,当 min 或 max 值未能反序列化时,查看列的统计信息时将使用 N/A 作为 min 或 max 的值并仍显示其余的统计信息,包括 count、null_count、ndv 等。#23703
  • 支持 JDBC 外部表的统计信息收集。#23965
  • 跳过__internal_schemainformation_schema上未知列的统计信息检查。#24625

03 Multi-Catalog 功能优化

  • 支持 Hadoop Viewfs;#24168
  • 优化 JDBC Catalog Checksum Replay 和 Range 相关问题; #22369
  • 优化了 JDBC Catalog 的 Property 检查和错误消息提示。 #23868
  • 修复了 MaxCompute Catalog Decimal 类型解析问题以及使用对象存储地址错误的问题。#24242
  • 支持 Hive Metastore Catalog 的 SQL Cache。#23391
  • 提高了 Hive Metastore Catalog 的元数据同步性能。#22869
  • 添加 metadata_name_ids 以快速获取 Catalogs、DB、Table,在创建或删除 Catalog 和 Table 时无需 Refresh Catalog, 并添加 Profiling 表从而与 MySQL 兼容。#22702

04 倒排索引性能优化

  • 增加 bkd 索引的查询缓存,通过缓存可以加速在命中 bkd 索引时的查询性能,在高并发场景中效果更为明显; #23952
  • 提升倒排索引在 Count 算子上的查询性能;#24678
  • 提升了 Match 算子在未命中索引时的效率,在测试表现中性能最高提升 60 倍;#24751
  • 提升了 MATCH 和 MATCH_ALL 在倒排索引上的查询性能;#23871 #24389

05 Array 函数优化

  • 优化了老版本查询优化器 Array 函数无法处理 Decimal 类型的问题;#23630
  • 优化了array_union 数组函数对多个参数的支持;#24327
  • 支持通过 explode 函数来处理数组嵌套复杂类型;#24455

Bug修复


该版本修复了之前版本存在的部分 Bug,使系统整体稳定性表现得到大幅提升,完整 BugFix 列表请参考 GitHub Commits 记录:https://github.com/apache/doris/issues/25011


http://www.niftyadmin.cn/n/5087477.html

相关文章

OpenMesh 获取一个顶点的邻接半边

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 继续使用OpenMesh中的循环器,来获取某一顶点的邻接半边。 二、实现代码 #define _USE_MATH_DEFINES #include <iostream> #include <unordered_map>

CNN-generated images are surprisingly easy to spot... for now

CNN-generated images are surprisingly easy to spot… for now----《目前CNN生成的图像非常容易被发现》 背景&#xff1a; 研究者们发现&#xff0c;仅仅对一种由CNN模型生成的图像进行训练的分类器&#xff0c;也可以检测许多其他模型生成的结果。由此提出这样的观点&#…

分享一下便利店怎么做微信小程序

便利店微信小程序开发&#xff0c;让生意更便捷&#xff01; 在这个数字化时代&#xff0c;微信小程序已经成为一种新的生活方式。它不仅改变了人们的消费习惯&#xff0c;还为各行各业提供了无限商机。对于便利店来说&#xff0c;微信小程序是一个绝佳的营销工具&#xff0c;…

ChatGPT AIGC 制作大屏可视化分析案例

第一部分提示词prompt: 商品 价格 p1 13 p2 41 p3 42 p4 53 p5 19 p6 28 p7 92 p8 62 城市 销量 北京 69 上海 13 南京 18 武汉 66 成都 70 你现在是一名非常专业的数据分析师,请结合上述数据完成下列几件事情 1:第一部分数…

软考 系统架构设计师系列知识点之特定领域软件体系结构DSSA(6)

接前一篇文章&#xff1a;软考 系统架构设计师系列知识点之特定领域软件体系结构DSSA&#xff08;5&#xff09; 所属章节&#xff1a; 第7章. 系统架构设计基础知识 第5节. 特定领域软件体系结构 相关试题 3. 特定领域软件架构&#xff08;Domain Specific Software Archite…

mysql中SUBSTRING_INDEX函数用法详解

MySQL中的SUBSTRING_INDEX函数用于从字符串中提取子字符串&#xff0c;其用法如下&#xff1a; SUBSTRING_INDEX(str, delim, count)参数说明&#xff1a; str&#xff1a;要提取子字符串的原始字符串。delim&#xff1a;分隔符&#xff0c;用于确定子字符串的位置。count&am…

自定义jenkins镜像提示FontConfiguration.head错误

系统使用&#xff1a;Debian12&#xff0c;jdk17 提示问题&#xff1a;缺少字体 找一台jdk8的环境&#xff0c;在lib文件夹中找到fontconfig.bfc find / -name *fontconfig* 复制到jenkins目标服务器中&#xff0c;jdk目录的lib中 再次启动jenkins服务正常

canal rocketmq

上篇文章canal 消费进度说到直接使用ClusterCanalConnector并发消费是有问题的&#xff0c;可以先用单点将canal事件发送到mq中&#xff0c;再由mq并发处理&#xff0c;另外mq还可以做到削峰的作用&#xff0c;让canal数据不至于阻塞。 使用队列&#xff0c;可以自己起一个单实…