Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容： 数据湖的相关背景介绍； 经典业务场景介绍； 为什么选择 Apache Iceberg； ....

一、背景及痛点 1. 背景 我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了这些业务场景碰到的问题。对比 Kafka 来说，Iceberg 在某些特定场景有自己的 ....

孙伟@Dell Flink 中文社区 摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括： 数据湖和 Iceberg 简介 未来规划 演示方案 存储优化的一些思考 一、数据湖和 ....

[图片] 以下文章来源于 Flink 中文社区 ，作者余东@去哪儿 2021 年加入 Qunar，主要负责数据平台 Flink 的运维与平台开发。 本文导读 [图片] 背景及特点 1. 背景 在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结 ....

[图片] 分享嘉宾：祝佳俊 网易严选 资深开发工程师 编辑整理：张晓伟 美团点评 出品平台：DataFunTalk 导读： Iceberg是数据湖解决方案中比较热门的解决方案之一，通常用于批流一体中数据存储的组织实现，希望通过本文让大家了解到网易严选是如何从老的Lambda架构升级到基于Iceber ....