文章
-
dataworks如何基于基线进行运维管理，保证数据及时性
背景 随着公司数仓的建设，数仓所产出的数据越来越多，也越来越重要，如何在任务上线后，持续的对任务进行监控，达到异常预警和延迟提前预警，是我们要考虑的。经过综合考虑，结合阿里云dataworks的基线管理功能，来完善这一体系。 那基线是什么呢？(简单说明一下，具体可以查看文档) 阿里云基线运维官方文档 直白来讲，是阿里云提供的一个对于任务进行监控管理的运维工具，用户通过将重要任务加到基线上并设置承诺… -
一文掌握OLAP和DataCube数据魔方应用
OLAP（Online Analytical Process）指联机分析处理，字面意思理解可以是基于数据仓库多维度模型的基础上实现的面向分析的各类操作的集合， 而且能够弹性地提供上卷（Roll-up） 、 下钻（Drill-down） 等操作， 它是呈现集成性决策信息的方法，多用于决策支持系统、商务智能或数据仓库。操作主体一般是运营、销售市场、数据分析师等团队人员而不是用户。主要场景针对大批量数据… -
数据相关常用名词，指标、标签、度量、口径、数据标准、血缘等名词解析
这里整理了数据人员，经常会接触到的名词和概念，了解这些专有名词对于数据研发和数据分析时，人员协作及研发都有很高的作用。 数据平台相关 任务（Task） 任务是对数据执行的操作的定义，示例如下： 通过数据同步节点任务，将数据从RDS同步至数仓。 通过SQL节点任务，运行SQL来进行数据的转换。 实例 实例是某个任务在某时某刻执行的一个快照。调度系统中的任务，经过调度系统、手动触发运行后，会生成一个实… -
5000字长文解析：带你解读阿里大数据建设方法论OneData
前言 onedata体系方法论最早发起于阿里，随着数据时代的全面到来，数据中台产品的完善，很多公司在建设自己的产品和方法论体系时，也都有参考和借鉴此观点，本文将围绕阿里早期业务情况以及数仓建设遇到的问题，结合作者的一些想法，分享一下这个概念，如有不足，敬请谅解。 onedata体系方法论产生的背景 上面这张图非常清晰的展示了2014年前后淘宝的的产品线矩阵，从这里我们可以了解到早期阿里是以淘宝业务… -
阿里数仓规范化，菜鸟数据模型管理实践
导读：本文将分享菜鸟数仓规划过程中的数仓管理模型实践，主要围绕以下内容展开： 菜鸟末端业务介绍 模型管理整体规划 数据建模平台建设 总结&展望 问答环节 分享嘉宾｜王智龙 菜鸟 末端数仓公共层模型负责人 分享嘉宾｜董晃 菜鸟 公共数据数仓研发工程师 01/菜鸟末端业务介绍 1. 菜鸟末端业务简介 菜鸟驿站建设的初衷是面向社区和校园，提供最后一公里物流服务平台，为消费者提供包裹代收、包裹代寄… -
淘系数据模型治理
淘系数据模型治理最佳实践 导读：本次分享题目为淘系数据模型治理，主要介绍过去一年淘系数据治理工作的一些总结。 具体将围绕以下4部分展开 1模型背景&问题 2问题分析 3治理方案 4未来规划 模型背景问题 1.整体情况 首先介绍一下淘系的整体数据背景。淘系的数据中台成立至今已有7年左右，一直未作数据治理，整体数据生成构成比为：人工创建（22%）+机器生成78%。其中活跃数据占比：9%，不规范… -
Kafka浅谈、什么是AR、OSR、ISR、HW和LEO以及之间的关系
kafka 多副本 Kafka 为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息（当然在同一时刻，副本之间可能并非完全一样），副本之间是“一主多从”的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本的消息同步。副本处于不同的broker中，当leader副本出现故障时，从follower副本中… -
IntellJ IDEA2021.1永久破解激活教程；IDEA激活码（亲测有效，持续更新）
本教程是无限试用期破解的方式，如果嫌麻烦， 也可以关注公众号回复 激活码获取。 一、说明 最近常用到的一些 IDEA 激活插件，陆陆续续都被河蟹掉，知了大神停止维护 jetbrains-agent 之后，虽然2020.1及之前的版本依然可以使用该方式，但该插件已不再适合最新的版本。这里再分享一个无限重置 30 天试用期的方法，各位从此不再受激活码的束缚。 二、适用版本及获取方式 本教程适用于 Je… -
数仓概念和数仓建设
数据仓库概念由比尔.恩门于1990年提出，主要是将OLTP系统存储的数据，经数据仓库特有的理论以及架构体系，进行系统的分析整理。 数仓目的 构建面向分析的集成化数据环境，为企业提提决策支持。 数仓的作用 提供集成的结构化数据 解决从数据库中获取信息的问题 数仓的特点 数仓的特点是面向主题的，集成的，稳定的，反向历史变化的。 数仓知识点 数仓作为数据的搬运工，本身不产生数据，也不消费数据，数据来源于… -
指标与标签的区别
概述 在公司数据建设过程中，经常会使用和提到指标和标签，但是很多小伙伴对于两者的区别确不能讲清楚。实际上标签与指标一样，是理解数据的两种方式，在赋能业务上，两者同样重要。接下来将结合自身的理解，从定义、应用场景、分类等多个方面进行总结。 定义 指标在定义上，主要是对数据的度量，而标签则主要是人为的对数据进行概括性描述。 指标的定义 现代管理学之父彼得·德鲁克提出用管理促进企业增长，他讲过一句非常经… -
你需要了解的全量表,增量表及拉链表
mysql测试数据准备 第一天 9月10号数据 1,待支付,2020-09-10 12:20:11,2020-09-10 12:20:11 2,待支付,2020-09-10 14:20:11,2020-09-10 14:20:11 3,待支付,2020-09-10 16:20:11,2020-09-10 16:20:11 第二天 9月11号数据 1,待支付,2020-09-10 12:20:11,… -
你真的了解数仓元数据吗，数据地图你又知道多少？
hi，大家好，我是大白，今天和大家聊一聊元数据。为什么这里要讲元数据呢？我来举个例子，你就知道元数据的重要性了。 小明刚入职公司，对公司业务和研发不是太了解，现在要新研发一个指标，通过梳理发现需求需要用到订单表，那小明怎么才能找到订单表呢？另外订单量的加工逻辑是订单表的订单状态为已下单状态的数量，那又应该怎么确定订单状态是哪个字段呢？在研发过程中小明发现，订单表加工出来的订单金额错误，那怎么才能知… -
最值得阅读的数据仓库书籍推荐
从事数仓工作几年了，在工作学习过程也看了很多数据仓库方面的，此处整理了对自己帮助较大的部分，给大家推荐一下，希望能帮助到大家。 SQL必知必会 《SQL必知必会 第4版(图灵出品）》这本书是学习数据库的入门级经典书籍，经典中的经典，里面知识点虽然都比较基础，不过讲解的清晰简介，也比较全面。这也是我看过的最棒的SQL入门书啦，短小精悍，实用性超强，一点也不枯燥，SQL小白必备书籍，五星。 大数据之路… -
最全面的数仓分层剖析，一文搞定企业数仓分层
数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范。 前言 从事数仓相关工作的人员都知道数仓模型设计的首要工作之一就是进行模型分层，可见模型分层在模型设计过程中的重要性，确实优秀的分层设计是一个数仓项目能否建设成功的核心要素，让数据易理解和高复用是分层的核心目标。 早期作者在考虑对公司数仓指定分层规范时，也是查了很多资料，网上资料也是较为全面，有使用…
扫码打开当前页
扫码关注公众号
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×
最新评论