• 标签: kafka 共 22 个结果.
  •

    kafka安装部署

    1. Kafka需要依赖于Zookeeper，先安装Zookeeper zookeeper需要依赖于jdk环境，需要先安装jdk环境 1.1 Zookeeper的单机安装 去官网Apache ZooKeeper下载zookeeper安装...

  • Flink 实战： 结合 Kafka 构建端到端的 Exactly-Once 处理程序

    原文地址： [链接] 作者： [链接] 前言 在消息处理过程中，除了 Flink 程序本身的逻辑（operator），我们还需要和外部系统进行交互，例如本地磁盘文件，HDFS，Kafka，MySQL 等。虽然 Flink 本身支持 Exactly-Once 语义，但是对于完整的数据处理系统来说，最终 ....

  • 腾讯技术｜消息队列基本原理和选型对比

    作者：anncdchen，腾讯 PCG 后台开发工程师 消息队列使用场景 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，削峰填谷等问题。实现高性能、高可用、可伸缩和最终一致性架构。 [图片] 解耦：多个服务监听、处理同一条消息，避免多次 rpc 调用。[图片] 异步消息：消息发 ....

  • 赵海源：峰值超 2 亿 / 秒，Kafka 在美团数据平台的实践

    [图片] 分享嘉宾：赵海源 美团 流存储工程师 编辑整理：刘明 慕华信息科技 出品平台：DataFunTalk 导读： 本文将介绍Kafka在美团数据平台的实践，主要内容包括：① Kafka在美团数据平台的发展现状和面临的挑战，主要是海量数据下如何保证读写延迟的问题，以及大规模的集群管理与优化；② ....

  • SpringBoot2实践系列(四十四)：集成Kafka消息中间件

    spring-kafka 为支持 Apache Kafka 提供了自动配置。Spring Boot 集成 Kafka 的配置由 `spring.kafka.*` 属性控制。

  • 微服务应用(二十一)：延时队列之MQ实现方案及RabbitMQTTL+DLX或插件实现

    MQ 消息中间件基本都支持**延时消息**或**消息过期**处理相关功能，可以使用此功能来实现消息队列。
  •

    Uber 大规模广告处理实践： Apache Flink、Kafka 和 Pinot 进行实时广告事件处理！

    [图片] 优步最近推出了一项新功能：UberEats 上的广告。这种新能力带来了 Uber 需要解决的新挑战，例如广告拍卖、竞标、归因、报告等系统。本文重点介绍我们如何利用开源技术构建 Uber 的第一个“近实时”恰好一次事件处理系统。我们将深入了解我们如何实现一次性处理以及事件处理作业的内部工作原 ....

  • 阿里 | 流计算引擎数据一致性的本质

    [图片] 作者 | 齐光 阿里云云栖号 微信号 yunqiinsight 流计算的应用与实践在大数据领域越来越常见，其重要性不言而喻，常见的流计算引擎有 Google DataFlow、Apache Flink，Apache Kafka Streams，Apache Spark Streaming ....

  • 2021 年网易云音乐实时计算平台发展和挑战

    以下文章来源于网易有数 ，作者大愚 摘要： 网易云音乐从 2018 年开始搭建实时计算平台，经过几年的发展已经渗透到云音乐的各个业务当中。本文是大愚老师的一篇实践分享，将从一个日常运维问题出发，带领大家了解云音乐实时计算平台的一些工作进展和未来规划。 网易云音乐实时数仓平台上线以后，经过一年半的发展 ....

  • ApacheKafka快速入门指南

    Kafka是基于发布订阅的消息系统。最初起源于LinkedIn，于2011年成为开源Apache项目，然后于2012年成为Apache顶级项目。Kafka用Scala和Java编写，因其分布式可扩展架构及可持久化、高吞吐率特征而被广泛使用。
  •

    快手万亿级别 Kafka 集群应用实践与技术演进之路

    赵健博 [图片] Kafka 系统在快手有着很广泛的应用，随着其业务的高速发展， Kafka 集群的规模也成指数增长，目前快手 Kafka 集群日消息处理总量达数万亿级别，峰值超过 1 亿 /s。与此同时，快手也面临了很多新问题与技术挑战。本文整理自快手高级架构师、大数据架构团队负责人赵健博在 QC ....

  • Kafka 设计解析（一）：Kafka 背景及架构介绍

    原文链接 ： https://www.infoq.cn/article/kafka-analysis-part-1 Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Ap ....

  • 【真实生产案例】消息中间件如何处理消费失败的消息？

    爱钓鱼的桌子哥，资深架构师 先后工作于滴滴、百度、字节跳动等国内一线互联网大厂，从事基础架构相关工作。带领团队设计与构建了大规模的分布式存储系统、分布式消息中间件、分布式数据库，对分布式架构设计、系统高可用体系构建、基础中间件架构都有丰富的经验。 1、消息中间件在生产系统中的使用 下图是一个非常典型 ....

  • 网易云音乐基于 Flink + Kafka 的实时数仓建设实践

    简介： 本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。 简介：本文由网易云音乐实时计算平台研发工程师岳猛分享， ....

  • Flink 在有赞实时计算的实践

    转载自： 有赞技术团队博客 一、前言 这篇主要由五个部分来组成： 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容， ....

  • 【有赞】数据资产，赞之治理

    作者：见风 团队：有赞大数据团队 一、背景介绍 大数据概念的提出已十年有余，这期间风靡全球，与其相关的理论、技术和实践遍地开花，整个领域都在飞速发展。野蛮生长之下，“数据治理”的呼声水涨船高。工信部 19 年提出：将加强数据治理，扎实推进国家大数据发展战略，将数据治理重要性上升到新的高度。在各行业畅 ....

  • 用 Flink 取代 Spark Streaming，知乎实时数仓架构演进

    [图片] “数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决 ....

  • AIQ - 架构 | Kafka 服务端 网络层 reactor 架构

    1. Reactor 模式 Kafka 网络层采用的是 Reactor 模式，是一种基于事件驱动模式。对应于 Java 的 NIO 提供了 Reactor 模式的 API.常见的单线程 Java NIO 的线程模型为 [图片] 流程： 首先创建 ServerSocketChannel 对象并在 Se ....

  • 【贝壳找房】贝壳搜索平台实时流总体架构设计

    2018-12-01 原创：孙要飞 背景：2017 年底到 2018 年初，公司战略调整，业务量及业务复杂度预期会有较大增长；面对新的挑战，搜索团队对整个搜索平台进行了重写，针对旧系统的一些问题，主要从可配置，异步化，并发，可扩展，全链路追踪，业务隔离等方面进行了设计。 1. 总体架构 如下图所示， ....

  • 大数据凉了？No，流式计算浪潮才刚刚开始！

    大数据凉了？No，流式计算浪潮才刚刚开始！ 原创： AI 前线小组 译 AI 前线 1 周前 [图片] 策划编辑 | Natalie 翻译 ｜巴真 编辑 ｜Debra **AI 前线导读：**本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃 ....
  • 1
  • 2

本文目录

    热门标签

    程序员导航

    热门文章

    阿里云新老用户最新优惠

    阿里云新老用户最新优惠

    最新发布

    最新评论