摘要： 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成， 文章的主要内容如下： 数据仓库与数据集成 数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成 [ ....

分享嘉宾：李建舒 美团 技术专家 编辑整理：李梦 出品平台：DataFunTalk 导读： 本文主要介绍美团酒旅数据治理的历程和实践经验，以及业务发展各个阶段中数据体系遇到的问题和解决方案。最后，将探讨数据治理在现阶段的建设思路和发展方向。 [图片] 01 背景介绍 数据治理这个话题这两年非常火热， ....

简介： 本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。 简介：本文由网易云音乐实时计算平台研发工程师岳猛分享， ....

作者简介：冷面，网易云音乐资深数据开发工程师，长期从事大数据开发，数仓建设、模型设计、数据治理、数据应用和服务等工作。目前主要负责云音乐离线数仓建设、会员业务线上数据服务、离线/实时 ABTEST 系统开发。 导读： 云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合自己的数仓体 ....

[图片] 分享嘉宾：张庭 菜鸟 数据工程师 文章整理：comn 出品平台：DataFunTalk 导读： 供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致 ETL 流程特别复杂，还 ....

分享嘉宾：仰宗强 编辑整理：刘春龙 出品平台：DataFunTalk 导读： 本次分享嘉宾是来自贝壳大数据部门的仰宗强，详细介绍了针对贝壳的业务数据与需求的增长，逐步升级数据开发平台的探索实践过程，包括三次数据开发平台架构升级的细节。 本次主题分享，主要从下面 4 个方面进行介绍： 背景介绍 探索历 ....

[图片] 分享嘉宾：钟云云 58 同城 数据架构师 编辑整理：李凯凯 出品平台：DataFunTalk、AI 启蒙者 导读： 早在多年以前在 Hadoop 系列分布式计算与存储、消息中间件还没有成熟的时候，数据仓库主要基于 Oracle 的数仓建设。但随着时间的推移，传统数据仓库的数据计算与存储，已 ....

作者：西贝 大数据技术与数仓写在前面层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名

分享嘉宾：陈天明 汽车之家编辑整理：徐焱森 中经惠众出品平台：DataFunTalk导读： 本文主要介绍汽车之家离线计算平台的建设过程，如何应对集群大规模增长带来的性能和稳定性的挑战，如何解决多租户情

[图片] 分享嘉宾：赵辉 度小满金融 架构师 编辑整理：蒋雯娟 厦门大学嘉庚学院 出品平台：DataFunTalk 导读： 大数据架构在金融场景下面临着诸多挑战，从架构上而言，业务对数据加工、存储和使用的全链路服务提出了更细致的管控需求；从使用上而言，用户并不想理解大数据架构的具体实现和管控的细节， ....

如何评估数据中台的成熟度？

分享记录： 下面是具体的模型设计，一般在数据仓库行业，业务模型有两类，一类是企业自有的数据模型，一类是行业模型，比如金融业：天睿，银行业、保险业、制造业、医疗生命科学行业，这些一般是实施顾问团队总结的。但这些行业模型在中国市场运行的不太好，除了金融和电信稍好点，其他行业因发展较快、业务变化较快，迭代较国外快很多。我不建议以自上而下的方式、预先用一个模型将自己…

分享记录： 数据仓库在业界的定义，是数据仓库之前BILL最早提出的。数据仓库的建设需要一个过程，是一个方法论。数据仓库建设是把企业中所有的数据整合，加工，分析的过程。用于解决数据经营，管理问题。他不像一个产品或者数据库一样，可直接购买。 OLTP就是我们通常说的所谓业务系统。它和数据仓库是有明显差异，业务系统重在当前数据，重在是插入，比如我们一个电商交易数据…

BI数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。 FineBI的BI数据仓库的构建主要包括确定需求，确…

什么是数据仓库 数据仓库是一个面向主题的( Subject Oriented) 、集成的( Integrate) 、相对稳定的(NonVolatile) 、反映历史变化( Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理： ①数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库; ②数据仓…

我把大数据的概念总结为四个字：大、全、细、时。

随着数据量的爆炸式增长，数据仓库或数据平台已经是每家企业或机构不可缺少的工具，而数据模型正是数据仓库的灵魂。本期详细介绍数据模型的概念、分类和应用，相信你一定有兴趣~

数据挖掘需要掌握的内容包括：统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。 下图比较清楚的画出了学习数据挖掘需要掌握的知识内容： 1、统计学 统计学是通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科…

联机事务处理OLTP（on-line transaction processing）主要是执行基本的、日常的事务处理，比如数据库记录的增、删、改、查。比如在银行存取一笔款，就是一个事务交易。 OLTP的特点一般有： 1.实时性要求高； 2.数据量不是很大； 3.交易一般是确定的，所以OLTP是对确定性的数据进行存取；(比如存取款都有一个特定的金额) 4.并发…

创业公司如何搭建数据仓库？