摘要：本文整理自阿里巴巴高级技术专家林东、阿里巴巴技术专家高赟（云骞）在 Flink Forward Asia 2021 核心技术专场的演讲。主要内容包括： 面向实时机器学习的 API 流批一体的迭代引擎 Flink ML 生态建设 一、面向实时机器学习的 API [图片] Flink ML API ....

摘要 ：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 一、相关背景 [图片] 美团 Flink 的应用场景覆盖了社区定义的三种场景： 应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时 ....

[图片] 分享嘉宾：姜伟华博士 阿里巴巴 资深技术专家 编辑整理：Rissy 易显智能科技 出品平台：DataFunTalk 导读： 大数据计算正从规模化走向实时化，实时大数据建设过程中开始面临很多的痛点和问题。本文内容整理于阿里资深技术专家姜伟华在DataFunTalk上的演讲，为大家介绍阿里巴巴 ....

韩飞 京东 技术稿 01 整体思考 [图片] 提到流批一体，不得不提传统的大数据平台 —— Lambda 架构。它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开发维护成本以及数据口径不一致是无法忽视的缺陷。 通过一套数据链路来同时满足流和批的数据处理需求是最理想的情况 ....

作者：刘建刚 快手技术 稿 摘要：本文整理自快手实时计算团队技术专家刘建刚在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 01 快手 Flink 的历史与现状 [图片] 快手从 2018 年开始对 Flink 进行深度整合，经过 4 年发展，实时计算平台逐渐完 ....

摘要： 本文整理自小米大数据部高级软件工程师张蛟在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 01 发展现状及规模 [图片] 现阶段，我们的整体架构可以分成5层，数据从下往上流动，如上图。 数据采集层主要负责收集各类数据，数据的来源分为两类，一类是埋点和业务 ....

一、背景 Flink目前是业界主流的流批一体的计算引擎。OPPO基于Flink构建的实时计算平台总共运行5000+作业，服务于公司二十几条业务线。我们从2021年开始着手计算上云的工作，目前已经有1/5的作业稳定运行在k8s上。 实时计算任务有以下特点： 资源初始固定。任务需要在提交之前明确资源用量 ....

导读： Flink Machine Learning Library 提供了机器学习相关的 API 与基础设施，方便用户构建机器学习的工作流。用户可以在 Flink ML Library 提供的 API 的基础之上，将机器学习算法封装为 Flink 的算子，并且构建相关的工作流来运行训练或推理服务。 ....

作者 | 王冬、杨浩、李文斌、王玢、李会珠 腾讯技术 稿 1.系统背景 腾讯内容中台提供从内容生产、内容加工、内容分发、内容结算等全链路环节的一站式服务，在这个过程中，会产生大量的数据以及围绕这些数据衍生的实时流业务应用，如智能审核、运营决策、在线学习等，从底层去看这些内容生态场景的本质，它需要我们 ....

摘要 ：本文整理自中原银行数据平台中心开发工程师陈玉强在 Flink Forward Asia 2021 行业实践专场的演讲。 01 建设体系 银行是经营风险的企业，对风险进行识别、衡量、定价和防范的能力是银行核心竞争力。中原银行构建了面向反欺诈、信用风险、运营风险的业务全流程风控体系。 [图片] ....

[图片] 分享嘉宾：杨诗旻 字节跳动数据平台 编辑整理：田长远 出品平台：DataFunTalk 导读： 今天分享的主题是实时数据湖在字节跳动的实践，将围绕下面四点展开： 对实时数据湖的解读 在落地实时数据湖的过程中遇到的一些挑战和应对方式 结合场景介绍实时数据湖在字节内部的一些实践案例 数据湖发展 ....

摘要：本文整理自蔚来汽车大数据专家，架构师吴江在 Flink Forward Asia 2021 行业实践专场的演讲。主要内容包括： 一、 实时计算在蔚来的发展历程 [图片] 18 年 5 月份左右，我们开始接触实时计算的概念，最初是用 Spark Streaming 做一些简单的流式计算数据的处理 ....

摘要：本文整理自阿里云实时计算高级运维专家王华 (尚付) 在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 一、演进历史和运维挑战 [图片] 阿里的实时计算经历了近 10 年的快速发展，总体来说可以分成三大时代： 1.0 时代：2013 年到 2017 年，三大 ....

[图片] 金风 稿 一、小米的大数据发展演变 2019 年之前，小米的实时计算主要以 SparkStreaming 为主，少部分 Storm，离线计算以 Spark 为主； 2019 年，开始接入 Flink，并广泛应用于信息流搜索推荐、广告实时样本、实时 ETL 等场景，逐步替换了原来的 Spar ....

[图片] 分享嘉宾：陈剑 虎牙 大数据架构师 编辑整理：谢宇 北京邮电大学 出品平台：DataFunTalk 导读： 随着实时计算的发展，越来越多的业务利用实时计算平台开发实时数据。与离线任务不同，实时任务需要更小的时延和更高的可靠性，如何更好地保障实时数据的质量是每个实时计算平台都需要解决的问题。 ....

郭育波@众安保险 稿 一、 整体概况 [图片] 上图是我们的实时计算整体架构图，最下层是数据源层，包括了来自于应用系统的业务数据、应用系统的消息数据、用户行为埋点数据以及应用日志数据，这些数据都会经过 Flink 进入实时数仓。 实时数仓分为三层： 第一层是 ODS 层，数据经过 Flink 到 O ....

作者： 夏畅@斗鱼 稿 摘要：本文整理自斗鱼实时计算负责人夏畅在 Flink Forward Asia 2021 行业实践专场的分享。 一、背景介绍 斗鱼成立于 2014 年，是一家致力于为所有人带来欢乐的，弹幕式直播分享平台。在斗鱼，实时计算发展得并不算早。 2018 年前后，为了满足一些近实时数 ....

作者： 邸星星 摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 一、应用场景 [图片] 我们的应用场景与其他公司很类似，涵盖了实时指标统计、监控预警、实时数据处理、实时用户行为、实时入湖、实时数据传输这几个方面： ....