作者： 爱奇艺技术产品团队 数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类： 发掘数据中的信息来指导决策，如产品运营、用户增长相关的 BI 报表 依托数据优化用户体验和变现效率，如信息分发场景下的个性化推荐、效果广告等 基于数据 ....

我们先看一组评论再进入正文，我只想说厮大牛逼！ [图片] 作者：朱忠华 原文：https://blog.csdn.net/u013256816/article/details/71091774 1 概述 Kakfa 起初是由 LinkedIn 公司开发的一个分布式的消息系统，后成为 Apache 的 ....

[图片] 阿里妹导读：伴随着海量增长的数据，数字化时代的未来感扑面而至。不论是结绳记事的小数据时代，还是我们正在经历的大数据时代，计算的边界正在被无限拓宽，而数据的价值再也难以被计算。时下，谈及大数据，不得不提到热门的下一代大数据计算引擎 Apache Flink（以下简称 Flink）。本文将结合 ....

[图片] 宽依赖与窄依赖 窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 窄依赖是指父 RDD 的每个分区只被子 RDD 的一个分区所使用，子 RDD 分区通常对应常数个父 RDD 分区(O(1)，与数据规模无关 ....

使用正确的 transformations 操作 虽然开发者达到某一目标，可以通过不同的 transformations 操作，但是有时候不同的姿势，性能差异非常明显。优化姿势的总体目标是尽可能少的产生 shuffle， 和待被 shuffled data。因为 shffule 过程存在写盘和节点间 ....

[图片] 分享：杜立 腾讯高级工程师 整理：戴季国 校对：苗文婷 来源：Flink 中文社区 摘要： 本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括： Flink SQL 现状 窗口功能的扩展 回撤流的优化 未来的规划 01 背景及现状 1. 三 ....

文章作者：胡明昊 58 金融 内容来源：58 技术 导语： 本文讲述了金融数据仓库从无到有的整体设计思路，以及对数据建模、质量控制、元数据管理及开发规范各方面的经验思考，希望对大家在数仓建设工作方面有所帮助。 背景 自 2018 年以来，随着业务体系的不断丰富与发展，数据分析与应用需求越来越丰富，对 ....

起始 标签平台作为数据平台建设的一部分，尤其是在互联网电商平台中，有着重要的作用。本人在公司接手并且重构了整个标签平台的核心逻辑。对标签平台有一定的了解。写这篇文章的契机是几个数仓的哥们，问到了这方面的问题，正好我也可以总结一下。 本文从技术角度，通过以下几个方面来阐述标签平台的建设历程 什么是特征 ....

摘要：在 RocketMQ 中，消息消费都是基于 Pull 消息方式，那么 Push 模式中又是如何实现 Consumer 端准实时消费的呢？ 在上一篇—“消息中间件—RocketMQ 消息消费（一）”中，已经简要地介绍了下 RocketMQ 中“Pull 和 Push 两种消费方式的简要流程”以及 ....

卫海波@贝壳找房 贝壳产品技术 贝壳找房 APP 给用户提供了海量房源的搜索查询功能，但是网站存量房源并不能完全满足用户的找房需求，用户希望可以及时获取新上房源的实时提醒。目前贝壳找房 APP 提供的房源新上实时推送有两个维度：基于关注小区的房源新上和基于搜索订阅条件的房源新上。 基于关注小区的房源 ....

作者：见风 团队：有赞大数据团队 一、背景介绍 大数据概念的提出已十年有余，这期间风靡全球，与其相关的理论、技术和实践遍地开花，整个领域都在飞速发展。野蛮生长之下，“数据治理”的呼声水涨船高。工信部 19 年提出：将加强数据治理，扎实推进国家大数据发展战略，将数据治理重要性上升到新的高度。在各行业畅 ....

转载自： 有赞技术团队博客 一、前言 这篇主要由五个部分来组成： 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容， ....

分享嘉宾： 张杨，B 站资深开发工程师 整理出品： AICUG 人工智能社区 https://img.6aiq.com/bilibili_flink.mp4 导读 : 整个机器学习的过程，从数据上报，到特征计算，到模型训练，再到线上部署，最终效果评估，整个流程非常冗长，在 b 站，多个团队都会搭建自 ....

本文整理自百度李俊卿在 QCon 上的演讲：《流式数据处理在百度数据工厂的应用与实践》。 百度数据工厂最原先用 Hive 引擎，进行离线批量数据分析和 PB 级别的查询，处理一些核心报表数据。但是在我们推广过程中发现，用户其实还是有复杂分析、实时处理、数据挖掘的请求，我们在 Spark1.0 推出的 ....

文章摘要：MQ 分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下 RocketMQ 存储部分的架构 消息存储是 MQ 消息队列中最为复杂和最为重要的一部分，所以小编也就放在 RocketMQ 系列篇幅中最后一部分来进行阐述和介绍。本文先从目前几种比较常用的 MQ 消息队列存储方式 ....