[图片] 分享嘉宾：贺小令 阿里巴巴技术专家 编辑整理：王吉东 内容来源：Flink Forward ASIA 出品平台：DataFun 导读： 本次分享的主题为 Apache Flink 新场景——OLAP 引擎，主要内容包括： 背景介绍 Apache Flink OLAP 引擎 案例介绍 未来计 ....

摘要： 去年开始着手打造伴鱼公司级的实时计算平台，平台代号 Palink，由 Flink + Palfish 组合而来。 在伴鱼发展早期，出现了一系列实时性相关的需求，比如算法工程师期望可以拿到用户的实时特征数据做实时推荐，产品经理希望数据方可以提供实时指标看板做实时运营分析。 这个阶段中台数据开发 ....

爱钓鱼的桌子哥，资深架构师 先后工作于滴滴、百度、字节跳动等国内一线互联网大厂，从事基础架构相关工作。带领团队设计与构建了大规模的分布式存储系统、分布式消息中间件、分布式数据库，对分布式架构设计、系统高可用体系构建、基础中间件架构都有丰富的经验。 1、消息中间件在生产系统中的使用 下图是一个非常典型 ....

原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke Apache Flink 端到端（end-to-end）Exactly-Once 特性概览 本文是 flink 博文的翻译，原文链接 https://flink.apach ....

简介： 本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。 简介：本文由网易云音乐实时计算平台研发工程师岳猛分享， ....

摘要： 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成， 文章的主要内容如下： 数据仓库与数据集成 数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成 [ ....

沈磊@有赞 Flink 中文社区 摘要： 今天主要分享的内容是 Flink 在有赞的实践和应用。 一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月，第一个 Storm 任务正式上线； 2016 年，引入 Spark Streaming， 运行在 Hadoop Yar ....

作者： 翟佳@Pulsar 摘要： StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar，并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础，以及 Apache Pulsar 如何与 Flink 结合，实现批 ....

摘要： 本文由快手实时计算负责人董亭亭分享，主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括： Flink 稳定性持续优化 Flink 任务启动优化 Flink SQL 实践与优化 未来的工作 一、Flink 稳定性持续优化 第一部分是 Flink 稳定性的持续优化。该部分包括两个方面 ....

网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括： 业务背景 专用 ETL EntryX 通用 ETL 调优实践 未来规划 一。 业务背景 网易游戏 ETL 服务概况 网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经 ....

字节跳动技术团队 背景 在字节跳动的实时计算场景中，我们有很多任务（数量 2k+）会直接服务于线上，其输出时延和稳定性会直接影响线上产品的用户体验，这类任务通常具有如下特点： 流量大，并发高（最大的任务并行度超过 1w） 拓扑类似于多流 Join，将各个数据源做整合输出给下游，不依赖 Checkpo ....

摘要： 微博机器学习研发中心数据计算负责人，高级系统工程师曹富强为大家带来 Flink 实时计算在微博的应用介绍。 一、微博介绍 本次给大家带来的分享是 Flink 实时计算在微博的应用。微博是中国领先的社交媒体平台，目前的日活跃用户是 2.41 亿，月活跃用户是 5.5 亿，其中移动用户占比超过了 ....

[图片] 分享嘉宾：潘国庆@携程 文章整理：王钊 内容来源：Flink Forward 来源： DataFunTalk 导读： 将实时计算和深度学习相结合、可解决某种特定的业务场景。本次将分享基于 tensorflow 和 flink 构建携程的实时智能检测平台。 今天分享的主要内容分为四个部分： ....

以下文章来源于 dbaplus 社群 ，作者王康 摘要： 自 2017 年起，为保障内部业务在平时和大促期间的平稳运行，唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台，现在的平台支持 Flink、Spark、Storm 等主流框架。本文将分为五个方面，分享唯品 ....

摘要： 本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。本次分享主要围绕以下四个方面： B 站实时的前世与今生 Flink On Yarn 的增量化管道的方案 Fli ....

[图片] 以下文章来源于 Flink 中文社区 ，作者余东@去哪儿 2021 年加入 Qunar，主要负责数据平台 Flink 的运维与平台开发。 本文导读 [图片] 背景及特点 1. 背景 在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结 ....

孙伟@Dell Flink 中文社区 摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括： 数据湖和 Iceberg 简介 未来规划 演示方案 存储优化的一些思考 一、数据湖和 ....

摘要：本文由京东搜索算法架构团队分享，主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践。文章的主要大纲如下： 一、背景 在京东的商品搜索排序中，经常会遇到搜索结果多样性不足导致系统非最优解的问题。为了解决数据马太效应带来的模型商品排序多样性的不足，我们利用基于二项式汤普森采 ....

[图片] 作者：沈磊 团队：大数据 前言 目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎 ....