阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

数仓缓慢变化维SCD深度讲解

76次阅读
没有评论

共计 1166 个字符,预计需要花费 3 分钟才能阅读完成。

导读维度缓慢变化维 SCD(Slowly Changing Dimensions)一些维度表的数据不是静态的,而是会随着时间而缓慢地变化 (这里的缓慢是相对事实表而言,事实表数据变化的速度比维度表快,如果还不知道什么是事实表和维度表请看→数仓模型设计详细讲解) 把处理维度表数据历史变化的问题,称为缓慢变化维问题,简称 SCD 问题。

数仓缓慢变化维 SCD 深度讲解

举例说明

例如:用根据用户维度,统计不同出生年份的消费金额占比。(80 后、90 后、00 后)。而期间,用户可能去修改用户数据,例如:将出生日期改成了 1992 年。此时,用户维度表就发生了变化。当然这个变化相对事实表的变换要慢。但这个用户维度表的变化,就是缓慢变化维。
数仓缓慢变化维 SCD 深度讲解

这个用户的数据不是一直不变,而是有可能发生变化。例如:用户修改了出生日期、或者用户修改了住址。

一、SCD 问题的几种解决方案

以下为解决缓慢变化维问题的几种办法:

  • 保留原始值
  • 改写属性值
  • 增加维度新行
  • 增加维度新列
  • 添加历史表
1.1 保留原始值

某一个属性值绝不会变化。事实表始终按照该原始值进行分组。例如:出生日期的数据,始终按照用户第一次填写的数据为准

1.2 改变属性值

对其相应需要重写维度行中的旧值,以当前值替换。因此其始终反映最近的情况。

当一个维度值的数据源发生变化,并且不需要在维度表中保留变化历史时,通常用新数据来覆盖旧数据。这样的处理使属性所反映的中是最新的赋值。

用户维度表 修改前:

数仓缓慢变化维 SCD 深度讲解

修改后:

数仓缓慢变化维 SCD 深度讲解

这种方法有个前提,用户不关心这个数据的变化
这样处理,易于实现,但是没有保留历史数据,无法分析历史变化信息

1.3 增加维度新行

数据仓库系统的目标之一是正确地表示历史。典型代表就是拉链表

保留历史的数据,并插入新的数据。

用户维度表 修改前:图片修改后:

数仓缓慢变化维 SCD 深度讲解

1.4 增加维度新列

用不同的字段来保存不同的值,就是在表中增加一个字段,这个字段用来保存变化后的当前值,而原来的值则被称为变化前的值。总的来说,这种方法通过添加字段来保存变化后的痕迹。

用户维度表 修改前:

数仓缓慢变化维 SCD 深度讲解

修改后

数仓缓慢变化维 SCD 深度讲解

1.5 使用历史表

另外建一个表来保存历史记录,这种方式就是将历史数据与当前数据完全分开来,在维度中只保存当前最新的数据。用户维度表

数仓缓慢变化维 SCD 深度讲解

用户维度历史表

数仓缓慢变化维 SCD 深度讲解

这种方式的优点是可以同时分析当前及前一次变化的属性值,缺点是只保留了最后一次变化信息。

思考

我在这里给大家提个场景题,比如我们在淘宝上购买一件商品,从下单 - 支付 - 发货 - 配送 - 确认收货这个几步流。需求:统计出在发送到配置过程中转了几次?

小结

今天给大家分享了 SCD 解决方案,但是其实以上的解决方案不是很好,其实数仓有一个非常好的解决缓慢变化维拉链表既保留了历史数据又不会造成数据冗余,拉链表我们下期讲。信自己,努力和汗水总会能得到回报的。我是大数据老哥,我们下期见。

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

代金券:在阿里云专用满减优惠券

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-07-25发表,共计1166字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中