• 标签: 大数据 共 539 个结果.

  • 工作中组内遇到的 elasticsearch 使用上的踩坑总结

    嵌套索引的坑 场景： 一个 spu doc 下有多个内嵌的 csu，csu 内有上下架状态，前台操作某 csu 上下架，在商城界面看起来未生效。 坑 1： MySQL binlog 消息监控组件 dbus 通知服务端 B 多台机器消息变更时，未考虑 spu 下 csu 消息的消费顺序性，导致同一 s ....

  • 网易云音乐数仓治理之数据任务重构实践

    作者简介：冷面，网易云音乐资深数据开发工程师，长期从事大数据开发，数仓建设、模型设计、数据治理、数据应用和服务等工作。目前主要负责云音乐离线数仓建设、会员业务线上数据服务、离线/实时 ABTEST 系统开发。 导读： 云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合自己的数仓体 ....

  • 贝壳找房一站式大数据开发平台实践

    分享嘉宾：仰宗强 编辑整理：刘春龙 出品平台：DataFunTalk 导读： 本次分享嘉宾是来自贝壳大数据部门的仰宗强，详细介绍了针对贝壳的业务数据与需求的增长，逐步升级数据开发平台的探索实践过程，包括三次数据开发平台架构升级的细节。 本次主题分享，主要从下面 4 个方面进行介绍： 背景介绍 探索历 ....

  • 爱奇艺大数据生态的实时数仓建设

    作者： 爱奇艺技术产品团队 数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类： 发掘数据中的信息来指导决策，如产品运营、用户增长相关的 BI 报表 依托数据优化用户体验和变现效率，如信息分发场景下的个性化推荐、效果广告等 基于数据 ....

  • 贝壳找房基于 Druid 的 OLAP 引擎应用实践

    分享嘉宾：王啸@贝壳找房 资深研发工程师 编辑整理：王建新 出品平台：DataFunTalk 导读： 贝壳作为全国领先的房产交易和租赁在线服务平台，有很多业务场景会产出大量实时和离线数据，针对这些数据进行查询分析，对于企业发展和业务拓展至关重要。不同业务线不同查询场景下，单一技术手段很难满足业务方的 ....

  • 腾讯游戏实时计算应用平台建设实践

    作者： 许振文@腾讯游戏 Flink 中文社区 摘要： 本文由腾讯游戏增值服务部数据中心许振文分享，主要介绍腾讯游戏实时计算应用平台的建设实践。内容包括： PPT 下载： https://flink-learning.org.cn/developers/flink-forward-asia-2020 ....

  • 空间数据索引 RTree 完全解析及 Java 实现

    作者：佳佳牛 来源：CSDN 原文：https://blog.csdn.net/MongChia1993/article/details/69941783 版权声明：本文为博主原创文章，转载请附上博文链接！ 最近在看空间数据索引的一些算法，感觉这哥们写的非常棒，特地转载过来。 第一部分 空间数据的背 ....

  • 大话 Select、Poll、Epoll 机制

    转载自： https://cloud.tencent.com/developer/article/1005481 作者： 黄日成 提到 select、poll、epoll 相信大家都耳熟能详了，三个都是 IO 多路复用的机制，可以监视多个描述符的读/写等事件，一旦某个描述符就绪（一般是读或者写事件发 ....

  • 阿里 | 优酷大数据 OLAP 技术选型

    [图片] 分享嘉宾：五羖 阿里文娱 技术专家 编辑整理：汤志敏 出品平台：DataFunTalk、AI 启蒙者 导读： 数据驱动的方法论已深入人心，无论是开发、产品还是运营，根据数据进行决策是必备环节。你是否好奇过，在优酷这样海量数据的场景下，是什么样的引擎在支撑着业务上林林总总的分析需求？大数据领 ....

  • Flink 实战： 结合 Kafka 构建端到端的 Exactly-Once 处理程序

    原文地址： [链接] 作者： [链接] 前言 在消息处理过程中，除了 Flink 程序本身的逻辑（operator），我们还需要和外部系统进行交互，例如本地磁盘文件，HDFS，Kafka，MySQL 等。虽然 Flink 本身支持 Exactly-Once 语义，但是对于完整的数据处理系统来说，最终 ....

  • Apache Flink 端到端（end-to-end）Exactly-Once 特性概览 （翻译）

    原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke Apache Flink 端到端（end-to-end）Exactly-Once 特性概览 本文是 flink 博文的翻译，原文链接 https://flink.apach ....

  • 爱奇艺数据中台的建设实践

    分享嘉宾：马金韬 爱奇艺 数据中台负责人 编辑整理：陈国梅 出品平台：DataFunTalk 导读： 随着市场对数据价值的认可，促进了数据在各行各业的爆发式增长，以及大数据设施的快速演化，同时也带来了不少新的数据问题；解决这些问题，发挥更大的数据价值，成为了各大公司的重点工作。爱奇艺通过数据中台的建 ....

  • 美团酒旅数据治理实践

    分享嘉宾：李建舒 美团 技术专家 编辑整理：李梦 出品平台：DataFunTalk 导读： 本文主要介绍美团酒旅数据治理的历程和实践经验，以及业务发展各个阶段中数据体系遇到的问题和解决方案。最后，将探讨数据治理在现阶段的建设思路和发展方向。 [图片] 01 背景介绍 数据治理这个话题这两年非常火热， ....

  • Flink 在有赞的实践和应用

    沈磊@有赞 Flink 中文社区 摘要： 今天主要分享的内容是 Flink 在有赞的实践和应用。 一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月，第一个 Storm 任务正式上线； 2016 年，引入 Spark Streaming， 运行在 Hadoop Yar ....

  • Flink 和 Pulsar 的批流融合

    作者： 翟佳@Pulsar 摘要： StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar，并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础，以及 Apache Pulsar 如何与 Flink 结合，实现批 ....

  • 苏宁 11.11 ：苏宁大数据离线任务开发调度平台实践

    桑强 2018 年 11 月 5 日 [图片] 目录 背景 2 设计目标 2 2.1 用户交互的产品功能 2 2.2 后台调度功能 3 2.3 任务执行器功能 4 2.4 任务运维功能 5 2.5 平台对外功能 6 平台价值 7 平台建设 7 4.1 用户功能实现说明 8 4.2 调度周期设计说明 ....

  • 网易游戏基于 Flink 的流式 ETL 建设

    网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括： 业务背景 专用 ETL EntryX 通用 ETL 调优实践 未来规划 一。 业务背景 网易游戏 ETL 服务概况 网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经 ....

  • 消息中间件—RocketMQ 的 RPC 通信（一）

    文章摘要：借用小厮的一句话“消息队列的本质在于消息的发送、存储和接收”。那么，对于一款消息队列来说，如何做到消息的高效发送与接收是重点和关键 一、RocketMQ 中 Remoting 通信模块概览 RocketMQ 消息队列的整体部署架构如下图所示：[图片]先来说下 RocketMQ 消息队列集群 ....

  • 消息中间件—RocketMQ 的 RPC 通信（二）

    文章摘要：如何设计 RPC 通信层模型是任何一款性能强劲的 MQ 所要重点考虑的问题 在（一）篇中主要介绍了 RocketMQ 的协议格式，消息编解码，通信方式(同步/异步/单向)、消息发送/接收以及异步回调的主要通信流程。而本篇将主要对 RocketMQ 消息队列 RPC 通信部分的 Netty ....

  • 消息中间件—RocketMQ 消息发送

    大道至简，消息队列可以简单概括为：“一发一存一收”，在这三个过程中消息发送最为简单，也比较容易入手，适合初中阶童鞋作为 MQ 研究和学习的切入点。因此，本篇主要从一条消息发送为切入点，详细阐述在 RocketMQ 这款分布式消息队列中发送一条普通消息的大致流程和细节。在阅读本篇之前希望读者能够先仔细 ....

本文目录

    热门标签

    程序员导航

    热门文章

    阿里云新老用户最新优惠

    阿里云新老用户最新优惠

    最新发布

    最新评论