友链朋友圈

时日曷丧,与汝偕亡

ClickHouse 随心所欲的聚合模型

clickhouse 强大的 MergeTree 系列引擎令人信服,其 ReplacingMergeTree、SummingMergeTree 在数据唯一性和汇总场景中表现非凡。但你是否还有保留最小(大)、平均等预聚合需求,甚至在一个模型中既有唯一性语意也有汇总、最小、最大、平均值语意该如何处理。在

王一川

ClickHouse 查询缓存

为了实现最佳性能,数据库需要优化其内部数据存储和处理管道的每一步。但是数据库执行的最好的工作是根本没有完成的工作!缓存是一种特别流行的技术,它通过存储早期计算的结果或远程数据来避免不必要的工作,而访问这些数据的成本往往很高。在今天的博文中,介绍一下 ClickHouse 缓存系列的最新成员——查询缓

王一川

安装RHEL8.x操作系统

安装与配置VM虚拟机 成功安装VMware Workstation后的界面如下图所示。 在上图所示的界面中,单击“创建新的虚拟机”选项,并在弹出的“新建虚拟机向导”界面中选择“典型”单选按钮,然后单击“下一步”按钮,如下图所示。

数仓基建-构建 hive 时间维表

众所周知 hive 的时间处理异常繁琐且在一些涉及日期的统计场景中会写较长的 sql,例如:周累计、周环比等;本文将使用维表的形式降低时间处理的复杂度,提前计算好标准时间字符串未来可能需要转换的形式。 一、表设计 结合业务场景常用的时间字符串格式为 yyyyMMdd,因此我们将这种格式字段作为维表的

王一川

hive高阶聚合

数仓的最终输出产物就是回答“看什么数据,怎么看”,其中看什么就是指标,怎么看就是维度。指标在整个数仓建模过程中通常都是固定的,关乎口径的问题不轻易变动,但维度则是随时变化,不同业务、不同场景看同一个指标的维度都是不同的,这也就衍生出“即席查询”的一个应用场景。在离线场景一种比较流行的解决方案就是 k

王一川