起始 标签平台作为数据平台建设的一部分，尤其是在互联网电商平台中，有着重要的作用。本人在公司接手并且重构了整个标签平台的核心逻辑。对标签平台有一定的了解。写这篇文章的契机是几个数仓的哥们，问到了这方面的问题，正好我也可以总结一下。 本文从技术角度，通过以下几个方面来阐述标签平台的建设历程 什么是特征 ....

卫海波@贝壳找房 贝壳产品技术 贝壳找房 APP 给用户提供了海量房源的搜索查询功能，但是网站存量房源并不能完全满足用户的找房需求，用户希望可以及时获取新上房源的实时提醒。目前贝壳找房 APP 提供的房源新上实时推送有两个维度：基于关注小区的房源新上和基于搜索订阅条件的房源新上。 基于关注小区的房源 ....

作者：见风 团队：有赞大数据团队 一、背景介绍 大数据概念的提出已十年有余，这期间风靡全球，与其相关的理论、技术和实践遍地开花，整个领域都在飞速发展。野蛮生长之下，“数据治理”的呼声水涨船高。工信部 19 年提出：将加强数据治理，扎实推进国家大数据发展战略，将数据治理重要性上升到新的高度。在各行业畅 ....

转载自： 有赞技术团队博客 一、前言 这篇主要由五个部分来组成： 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容， ....

作者简介：冷面，网易云音乐资深数据开发工程师，长期从事大数据开发，数仓建设、模型设计、数据治理、数据应用和服务等工作。目前主要负责云音乐离线数仓建设、会员业务线上数据服务、离线/实时 ABTEST 系统开发。 导读： 云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合自己的数仓体 ....

本文整理自百度李俊卿在 QCon 上的演讲：《流式数据处理在百度数据工厂的应用与实践》。 百度数据工厂最原先用 Hive 引擎，进行离线批量数据分析和 PB 级别的查询，处理一些核心报表数据。但是在我们推广过程中发现，用户其实还是有复杂分析、实时处理、数据挖掘的请求，我们在 Spark1.0 推出的 ....

文章摘要：MQ 分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下 RocketMQ 存储部分的架构 消息存储是 MQ 消息队列中最为复杂和最为重要的一部分，所以小编也就放在 RocketMQ 系列篇幅中最后一部分来进行阐述和介绍。本文先从目前几种比较常用的 MQ 消息队列存储方式 ....

摘要：如果 Consumer 端消费消息失败，那么 RocketMQ 是如何对失败的异常情况进行处理？ 前面两篇 RocketMQ 消息消费（一）/（二）篇，主要从 Push/Pull 两种消费模式的简要流程、长轮询机制和 Consumer 端负载均衡这几点内容出发，介绍了 RocketMQ 消息消 ....

摘要：在 RocketMQ 中，消息消费都是基于 Pull 消息方式，那么 Push 模式中又是如何实现 Consumer 端准实时消费的呢？ 在上一篇—“消息中间件—RocketMQ 消息消费（一）”中，已经简要地介绍了下 RocketMQ 中“Pull 和 Push 两种消费方式的简要流程”以及 ....

文章摘要：在发送消息给 RocketMQ 后，消费者需要消费。消息的消费比发送要复杂一些，那么 RocketMQ 是如何来做的呢？ 在 RocketMQ 系列文章的前面几篇幅中已经对其“RPC 通信部分”和“普通消息发送”两部分进行了详细的阐述，本文将主要从消息消费为切入点简要地介绍下“Rocket ....

大道至简，消息队列可以简单概括为：“一发一存一收”，在这三个过程中消息发送最为简单，也比较容易入手，适合初中阶童鞋作为 MQ 研究和学习的切入点。因此，本篇主要从一条消息发送为切入点，详细阐述在 RocketMQ 这款分布式消息队列中发送一条普通消息的大致流程和细节。在阅读本篇之前希望读者能够先仔细 ....

文章摘要：如何设计 RPC 通信层模型是任何一款性能强劲的 MQ 所要重点考虑的问题 在（一）篇中主要介绍了 RocketMQ 的协议格式，消息编解码，通信方式(同步/异步/单向)、消息发送/接收以及异步回调的主要通信流程。而本篇将主要对 RocketMQ 消息队列 RPC 通信部分的 Netty ....

文章摘要：借用小厮的一句话“消息队列的本质在于消息的发送、存储和接收”。那么，对于一款消息队列来说，如何做到消息的高效发送与接收是重点和关键 一、RocketMQ 中 Remoting 通信模块概览 RocketMQ 消息队列的整体部署架构如下图所示：[图片]先来说下 RocketMQ 消息队列集群 ....

网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括： 业务背景 专用 ETL EntryX 通用 ETL 调优实践 未来规划 一。 业务背景 网易游戏 ETL 服务概况 网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经 ....

桑强 2018 年 11 月 5 日 [图片] 目录 背景 2 设计目标 2 2.1 用户交互的产品功能 2 2.2 后台调度功能 3 2.3 任务执行器功能 4 2.4 任务运维功能 5 2.5 平台对外功能 6 平台价值 7 平台建设 7 4.1 用户功能实现说明 8 4.2 调度周期设计说明 ....

作者： 翟佳@Pulsar 摘要： StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar，并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础，以及 Apache Pulsar 如何与 Flink 结合，实现批 ....

沈磊@有赞 Flink 中文社区 摘要： 今天主要分享的内容是 Flink 在有赞的实践和应用。 一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月，第一个 Storm 任务正式上线； 2016 年，引入 Spark Streaming， 运行在 Hadoop Yar ....