月付购物网站建站,遂宁市建设银行网站,小程序app系统开发,网站架构模式用哪种简介#xff1a;本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理#xff08;OLAP#xff09;的开源分析引擎 ClickHouse#xff0c;因其优良的查询性能#xff0c;PB级的数据规模#xff0c;简单的架构#xff0c;被国内外公司广泛采用。本系列技…简介本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理OLAP的开源分析引擎 ClickHouse因其优良的查询性能PB级的数据规模简单的架构被国内外公司广泛采用。本系列技术文章将详细展开介绍 ClickHouse。
前言
本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理OLAP的开源分析引擎 ClickHouse因其优良的查询性能PB 级的数据规模简单的架构被国内外公司广泛采用。
阿里云 EMR-OLAP 团队基于开源 ClickHouse 进行了系列优化提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。EMR ClickHouse 完全兼容开源版本的产品特性同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能并且在开源的基础上优化了 ClickHouse 的读写性能提升了 ClickHouse 与 EMR 其他组件快速集成的能力。访问 ClickHouse - E-MapReduce - 阿里云 了解详情。
译者何源荆杭阿里云计算平台事业部高级产品专家
ClickHouse 聚合函数和聚合状态
ClickHouse 可能有一个独特的功能——聚合状态除了聚合函数外。你可以参考 和 组合子的文档。
简而言之许多数据库使用概率数据结构例如 HyperLogLog简称 HLL。它用于唯一/去重计算你可以在Spark、ElasticSearch、Flink、Postgres、BigQuery 和 Redis 等服务中看到它的效果。但通常你只能在聚合函数中应用此函数一次例如查询每月唯一用户数——得到一个数字这样就知足了。由于 HLL 结构没有对应的内部格式因此无法重用预聚合或部分聚合的数据。而在 ClickHouse 中你可以这样做因为 HLL 结构是一致的。
ClickHouse 的速度非常快其基本思路是处理原始数据而不是预聚合数据。但是让我们做个实验。例如我们需要为上个月的唯一用户数计算一些指标。
设想每天预聚合然后汇总所有结果。这就是所谓的存储空间方法——以后你可以只汇总最后 30 个测量值来计算上个月的统计数据或者只汇总最后 7 个测量值来计算上周的统计数据。
创建我们的预聚合表
create table events_unique (date Date, group_id String, client_id String, event_type String, product_id String, value AggregateFunction(uniq, String)
) ENGINE MergeTree(date, (group_id, client_id, event_type, product_id, date), 8192);
这里将我的聚合声明为 AggregateFunction(uniq, String)。我们关注的是一些独特的指标这些指标是在 String 列上计算的为了进一步优化你可能应该使用 FixedString 或二进制数据。
让我们将数据插入预聚合表
INSERT INTO events_unique
SELECT date, group_id, client_id, event_type, product_id, uniqState(visitor_id) AS value FROM events GROUP BY date, group_id, client_id, event_type, product_id;
进行冒烟测试确认其可以正常运行
SELECT uniqMerge(value) FROM events_unique GROUP BY product_id;
现在让我们比较原始表和预聚合表的查询性能。原始查询
SELECT uniq(visitor_id) AS c FROM events WHERE client_id ‘aaaaaaaa’ AND event_type ‘click’ AND product_id ‘product1’ AND date ‘2017–01–20’ AND date ‘2017–02–20’;┌──────c─┐
│ 457954 │
└────────┘
1 rows in set. Elapsed: 0.948 sec. Processed 13.22 million rows, 1.61 GB (13.93 million rows/s., 1.70 GB/s.)
预聚合表的结果
SELECT uniqMerge(value) AS c FROM events_unique WHERE client_id ‘aaaaaaaa’ AND event_type ‘click’ AND product_id ‘product1’ AND date ‘2017–01–20’ AND date ‘2017–02–20’;┌──────c─┐
│ 457954 │
└────────┘
1 rows in set. Elapsed: 0.050 sec. Processed 39.39 thousand rows, 8.55 MB (781.22 thousand rows/s., 169.65 MB/s.)
结果表明我们的处理时间缩短到 1/20。
在实践中将物化视图与 AggregatingMergeTree 引擎结合使用会比使用单独的表更方便。
总结
ClickHouse 可让你将聚合状态存储在数据库中而不仅仅是存储在业务应用中这有望带来颇具吸引力的性能优化和新用例。有关更多详细信息请查看关于 AggregatingMergeTree 引擎的丰富文档。
后续
您已经了解了在 ClickHouse 中处理实时更新相关内容本系列还包括其他内容
在 ClickHouse 中处理实时更新使用新的 TTL move将数据存储在合适的地方在 ClickHouse 物化视图中使用 JoinClickHouse 聚合函数和聚合状态本文ClickHouse 中的嵌套数据结构
原文链接 本文为阿里云原创内容未经允许不得转载。
