分享嘉宾：李建舒 美团 技术专家 编辑整理：李梦 出品平台：DataFunTalk 导读： 本文主要介绍美团酒旅数据治理的历程和实践经验，以及业务发展各个阶段中数据体系遇到的问题和解决方案。最后，将探讨数据治理在现阶段的建设思路和发展方向。 [图片] 01 背景介绍 数据治理这个话题这两年非常火热， ....

[图片] 分享嘉宾：汪建锋 火山引擎 技术专家 编辑整理：张玮 出品平台：DataFunTalk 导读： 字节跳动旗下有许多产品，每天有大量的数据需要接收和计算。其中，以抖音、头条等为代表的产品以实时推荐和流计算为核心，这些都需要消耗大量的计算资源和存储资源。巨大的数据量和快速准确的计算需求，给技术 ....

如何评估数据中台的成熟度？

[图片] 分享嘉宾：赵辉 度小满金融 架构师 编辑整理：蒋雯娟 厦门大学嘉庚学院 出品平台：DataFunTalk 导读： 大数据架构在金融场景下面临着诸多挑战，从架构上而言，业务对数据加工、存储和使用的全链路服务提出了更细致的管控需求；从使用上而言，用户并不想理解大数据架构的具体实现和管控的细节， ....

分享嘉宾：陈天明 汽车之家编辑整理：徐焱森 中经惠众出品平台：DataFunTalk导读： 本文主要介绍汽车之家离线计算平台的建设过程，如何应对集群大规模增长带来的性能和稳定性的挑战，如何解决多租户情

作者：西贝 大数据技术与数仓写在前面层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名

[图片] 作者 | 闲鱼技术 - 雨成 文章来源 | 闲鱼技术团队 1.现状 闲鱼作为一款闲置交易 APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从 2014 年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性 ....

分享嘉宾：仰宗强 编辑整理：刘春龙 出品平台：DataFunTalk 导读： 本次分享嘉宾是来自贝壳大数据部门的仰宗强，详细介绍了针对贝壳的业务数据与需求的增长，逐步升级数据开发平台的探索实践过程，包括三次数据开发平台架构升级的细节。 本次主题分享，主要从下面 4 个方面进行介绍： 背景介绍 探索历 ....

[图片] 分享嘉宾：张庭 菜鸟 数据工程师 文章整理：comn 出品平台：DataFunTalk 导读： 供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致 ETL 流程特别复杂，还 ....

作者简介：冷面，网易云音乐资深数据开发工程师，长期从事大数据开发，数仓建设、模型设计、数据治理、数据应用和服务等工作。目前主要负责云音乐离线数仓建设、会员业务线上数据服务、离线/实时 ABTEST 系统开发。 导读： 云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合自己的数仓体 ....

简介： 本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。 简介：本文由网易云音乐实时计算平台研发工程师岳猛分享， ....

[图片] 分享嘉宾：钟云云 58 同城 数据架构师 编辑整理：李凯凯 出品平台：DataFunTalk、AI 启蒙者 导读： 早在多年以前在 Hadoop 系列分布式计算与存储、消息中间件还没有成熟的时候，数据仓库主要基于 Oracle 的数仓建设。但随着时间的推移，传统数据仓库的数据计算与存储，已 ....

摘要： 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成， 文章的主要内容如下： 数据仓库与数据集成 数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成 [ ....

严选技术团队 导读：数据仓库，是我们数据工程师的无形产品，不同于可视化、交互型产品的评价体系，数据仓库的评价有其独特性。本文从概念-平台-规范的链路来介绍一下严选数据仓库，并介绍了严选数据仓库的评价体系。 数据为王的时代，数据量从最初的几十 G，慢慢沉淀到几十 T，甚至几十 PB 的量。数据工程师， ....

1 背景 作业帮大数据团队主要负责建设公司级数仓，向公司各个重要产品线（拉新、教学、BI 等）提供面向业务的数据信息，如到课时长、答题情况等。在过去半年多时间内，我们基于 Apache Doris，构建了数仓实时查询系统。本文总结并分享下期间的工作内容，也欢迎大家一起讨论。 典型的数仓从逻辑上划分为 ....

[图片] 文章作者：i 技术会 内容来源：爱奇艺技术产品团队 导读： 本文主要介绍如何通过数仓平台进行数据建模，从而构建统一、规范化、标准化的数据仓库体系，以及围绕核心数据仓库元数据中心建设数据图谱等方面的实践和心得，来解决实际场景中遇到的各种问题，学习数据仓库整体建设思想以及元数据应用服务搭建。首 ....

[图片] 分享嘉宾：杨雄 网易严选 资深研发工程师 内容来源：DataFun Talk《基于 Flink 的严选实时数仓实践》 出品社区：DataFun [图片] 今天分享的内容主要分为四个部分，首先会介绍下严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施 ....

仰宗强@贝壳找房 本文根据贝壳找房资深工程师仰宗强老师在 2020 年'面向 AI 技术的工程架构实践'大会上的演讲速记整理而成。 1 开场 大家下午好，很荣幸来到这跟大家一起分享贝壳一站式大数据开发平台的落地实践。今天的分享主要分为以下四个部分： 贝壳的数据业务背景。 数据开发平台探索历程。 数据 ....

[图片] 桔妹导读： 随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1. 实时数仓建设目的 随着互 ....

[图片] 桔妹导读： 指标体系是什么？如何使用 OSM 模型和 AARRR 模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。 1. 什么是指标体系 ▍1.1 指标体系定义 指标体系是将零散单点的具有相互联系的指标，系统化的组织 ....