摘要： 本文作者陈易生，介绍了伴鱼平台机器学习特征系统的升级，在架构上，从 Spark 转为 Flink，解决了特征上线难的问题，以及 SQL + Python UDF 如何用于生产实践。一、前言在伴

来源： Flink 前言 笔者最近回顾自己对 Flink 技术栈细节的理解，发现对 Flink 的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现显然说不过去。于是专门写一篇总结，站在大佬们的肩膀上彻底搞清楚 Flink 是怎么做流控与处理反压 ....

[图片] 分享嘉宾：付海涛 京东 高级技术专家 编辑整理：刘明明 出品平台：DataFunTalk 导读： Flink 是目前流式处理领域的热门引擎，具备高吞吐、低延迟的特点，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于 2018 年开始基于 Flink+K8s 深入打造高性能、稳 ....

注：本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。本篇为直播实时数据建设系列的第二篇，本篇主要介绍直播间画像实时维表建设的整个过程，如 ....

注：本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。相信大家或多或少都观看过直播，那大家有没有想过，如果自己负责建设公司内整体直播实时数 ....

[图片] 分享嘉宾：邸星星@汽车之家 编辑整理：DataFun、Flink 中文社区 导读： 本文将介绍如何基于 Apache Iceberg 构建湖仓一体架构，将数据可见性提升至分钟级；从多维分析的角度来探讨引入 Apache Iceberg 带来的收益，以及未来还有哪些收益可以期待。 01 数据 ....

**简介：**5 月 22 日北京站 Flink Meetup 分享的议题。本文整理自爱奇艺技术经理韩红根在 5 月 22 日北京站 Flink Meetup 分享的议题《Flink 在爱奇艺广告业务

李天朔@快手 Flink 中文社区摘要：本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》一、快手实时计算

来源： 付海涛@京东 Flink 中文社区摘要： 本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》一、业务

A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management’s decisions. —— Bill Inm ....

Flink 中文社区 邸星星 稿 摘要： 本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2020 分享的议题《Apache Flink 在汽车之家的应用及实践》。 一、背景及现状 1. 第一阶段 在 2019 年之前，汽车之家的大部分实时业务都是运行在 Stor ....

[图片] 分享嘉宾：周晖栋 bilibili 编辑整理：宋灵城 贝壳找房/东南大学 出品平台：DataFunTalk 导读： 本文主要介绍Flink实时计算在bilibili的优化，将从以下四个方面展开：① Flink-connector稳定性优化；② Flink sql优化；③ Flink-run ....

以下文章来源于网易有数 ，作者大愚 摘要： 网易云音乐从 2018 年开始搭建实时计算平台，经过几年的发展已经渗透到云音乐的各个业务当中。本文是大愚老师的一篇实践分享，将从一个日常运维问题出发，带领大家了解云音乐实时计算平台的一些工作进展和未来规划。 网易云音乐实时数仓平台上线以后，经过一年半的发展 ....

[图片] 作者 | 齐光 阿里云云栖号 微信号 yunqiinsight 流计算的应用与实践在大数据领域越来越常见，其重要性不言而喻，常见的流计算引擎有 Google DataFlow、Apache Flink，Apache Kafka Streams，Apache Spark Streaming ....

导读：本篇文章是[2021年网易云音乐实时计算平台发展和挑战]的姊妹篇，由网易云音乐数据平台开发专家大愚分享，为大家介绍云音乐实时数仓技术改造以及未来的一些规划。 云音乐从2018年开始搭建实时计算平台，经过两年的发展实时计算已经渗透到云音乐的各个业务当中： 运营需要实时的统计报表做精细化的运营 算 ....

陈航@BIGO Flink 中文社区 摘要： 本文整理自 BIGO Staff Engineer 陈航在 Flink Forward Asia 2020 分享的议题《借助 Flink 与 Pulsar，BIGO 打造实时消息处理系统》。 一、关于 BIGO 借助于大数据和人工智能技术，BIGO 基于 ....

以下文章来源于InfoQ ，作者郭文飞 摘要： 本文基于字节跳动推荐系统基础服务方向负责人郭文飞在 5 月 22 日 Apache Flink Meetup 分享的《Flink 在字节跳动推荐特征体系中的落地实践》整理 2021 年，字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、 ....

[图片] 优步最近推出了一项新功能：UberEats 上的广告。这种新能力带来了 Uber 需要解决的新挑战，例如广告拍卖、竞标、归因、报告等系统。本文重点介绍我们如何利用开源技术构建 Uber 的第一个“近实时”恰好一次事件处理系统。我们将深入了解我们如何实现一次性处理以及事件处理作业的内部工作原 ....

[图片] 随着双11的开启，物流业也迎来了年度大考。2021年双11期间，递四方作为物流仓储服务方，布局仓库和分拣点超40+个，50w+平米作业场地，单日订单峰值达千万级别，海量购物订单由递四方配送到家，消费者由尾款人秒变收货人。 一 业务介绍 递四方成立于2004年，创业在深圳，是国内最早的国际物 ....