-
dataworks如何基于基线进行运维管理，保证数据及时性
背景 随着公司数仓的建设，数仓所产出的数据越来越多，也越来越重要，如何在任务上线后，持续的对任务进行监控，达到异常预警和延迟提前预警，是我们要考虑的。经过综合考虑，结合阿里云dataworks的基线管理功能，来完善这一体系。 那基线是什么呢？(简单说明一下，具体可以查看文档) 阿里云基线运维官方文档 直白来讲，是阿里云提供的一个对于任务进行监控管理的运维工具，用户通过将重要任务加到基线上并设置承诺…...- 230
-
5000字长文解析：带你解读阿里大数据建设方法论OneData
前言 onedata体系方法论最早发起于阿里，随着数据时代的全面到来，数据中台产品的完善，很多公司在建设自己的产品和方法论体系时，也都有参考和借鉴此观点，本文将围绕阿里早期业务情况以及数仓建设遇到的问题，结合作者的一些想法，分享一下这个概念，如有不足，敬请谅解。 onedata体系方法论产生的背景 上面这张图非常清晰的展示了2014年前后淘宝的的产品线矩阵，从这里我们可以了解到早期阿里是以淘宝业务…...- 2.1k
-
你需要了解的全量表,增量表及拉链表
mysql测试数据准备 第一天 9月10号数据 1,待支付,2020-09-10 12:20:11,2020-09-10 12:20:11 2,待支付,2020-09-10 14:20:11,2020-09-10 14:20:11 3,待支付,2020-09-10 16:20:11,2020-09-10 16:20:11 第二天 9月11号数据 1,待支付,2020-09-10 12:20:11,…...- 1.9k
-
你真的了解数仓元数据吗，数据地图你又知道多少？
hi，大家好，我是大白，今天和大家聊一聊元数据。为什么这里要讲元数据呢？我来举个例子，你就知道元数据的重要性了。 小明刚入职公司，对公司业务和研发不是太了解，现在要新研发一个指标，通过梳理发现需求需要用到订单表，那小明怎么才能找到订单表呢？另外订单量的加工逻辑是订单表的订单状态为已下单状态的数量，那又应该怎么确定订单状态是哪个字段呢？在研发过程中小明发现，订单表加工出来的订单金额错误，那怎么才能知…...- 2.4k
-
最值得阅读的数据仓库书籍推荐
从事数仓工作几年了，在工作学习过程也看了很多数据仓库方面的，此处整理了对自己帮助较大的部分，给大家推荐一下，希望能帮助到大家。 SQL必知必会 《SQL必知必会 第4版(图灵出品）》这本书是学习数据库的入门级经典书籍，经典中的经典，里面知识点虽然都比较基础，不过讲解的清晰简介，也比较全面。这也是我看过的最棒的SQL入门书啦，短小精悍，实用性超强，一点也不枯燥，SQL小白必备书籍，五星。 大数据之路…...- 1.3k
-
最全面的数仓分层剖析，一文搞定企业数仓分层
数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范。 前言 从事数仓相关工作的人员都知道数仓模型设计的首要工作之一就是进行模型分层，可见模型分层在模型设计过程中的重要性，确实优秀的分层设计是一个数仓项目能否建设成功的核心要素，让数据易理解和高复用是分层的核心目标。 早期作者在考虑对公司数仓指定分层规范时，也是查了很多资料，网上资料也是较为全面，有使用…...- 979
-
都说数仓是面向主题建设的，那数仓的主题和主题域又应该怎么划分呢？
数据仓库之父 Bill Inmon 将数据仓库描述为一个面向主题的、集成的、稳定的、反应历史变化的数据集合，用于支持管理者的决策过程。 前言 从上面的引言里面，我们其实可以知道主题在数仓建设里面绝对是很重要的一环，这的确是的。数仓在建设过程中，对数据的组织管理上，不仅仅要进行横向的分层，也需要根据业务情况进行纵向的主题域划分。看到这里可能就有疑问了，上面明明说的是面向主题，怎么又突然说到主题域了，…...- 640
扫码打开当前页
扫码关注公众号
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×