业务研发，到了一定阶段需要对设计进行抽象化进行，抽象化两种方式一种是程序库，通过调用库形式实现代码重用，例如 dll、so、jar 包，另一种形式是通过服务形式，比如 Web 服务 soa 以及当下微服务形式对业务模块进行抽象化设计。 [图片] 对于线上业务抽象化去实现，具体到实现方式上，在 Jav ....

原文发布于微信公众号 - 小小挖掘机（wAIsjwj） 原文发表时间：2018-11-04 在本系列的推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现中，我们介绍了阿里的深度兴趣网络(Deep Interest Network，以下简称 DIN)，时隔一年，阿里再次升级其模 ....

摘要： 本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。本次分享主要围绕以下四个方面： B 站实时的前世与今生 Flink On Yarn 的增量化管道的方案 Fli ....

摘要：在 RocketMQ 中，消息消费都是基于 Pull 消息方式，那么 Push 模式中又是如何实现 Consumer 端准实时消费的呢？ 在上一篇—“消息中间件—RocketMQ 消息消费（一）”中，已经简要地介绍了下 RocketMQ 中“Pull 和 Push 两种消费方式的简要流程”以及 ....

本文根据美团配送资深技术专家郑艳伟在 2019 SACC（中国系统架构师大会）上的演讲内容整理而成，主要介绍了美团配送技术团队在建设一站式机器学习平台过程中的经验总结和探索，希望对从事此领域的同学有所帮助。 0. 写在前面 AI 是目前互联网行业炙手可热的“明星”，无论是老牌巨头，还是流量新贵，都在 ....

[图片] 李明阳 滴滴技术 导读：今天给大家分享的主题是搜索匹配问题在 DiDi Food 中的一些探索与应用。本文首先介绍了搜索相关性的一些背景，之后介绍了业界常见的三种匹配模型，以及在 DiDi Food 业务中的模型效果对比。 匹配模型包括：1. 基于表征的深度匹配模型；2. 基于交互的深度匹 ....

[图片] 以下文章来源于 Flink 中文社区 ，作者余东@去哪儿 2021 年加入 Qunar，主要负责数据平台 Flink 的运维与平台开发。 本文导读 [图片] 背景及特点 1. 背景 在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结 ....

作者：张荣华 编辑：陶家龙、孙淑娟 从学生开始老师就教导我们什么是问题？如何找出标准答案。然而，经过十几年的学习，大多数人依然没有理解问题的本质。正确定义问题是成功的开始，更是成功架构师的必要条件。 [图片] 今天，阿里资深技术专家张荣华从问题的本质入手，用“升层思维”解决问题，告诉我们创新的核心， ....

[图片] 桔妹导读： Presto 在滴滴内部发展三年，已经成为滴滴内部 Ad-Hoc 和 Hive SQL 加速的首选引擎。目前服务 6K+ 用户，每天读取 2PB ~ 3PB HDFS 数据，处理 30 万亿~35 万亿条记录，为了承接业务及丰富使用场景，滴滴 Presto 需要解决稳定性、易用 ....

一、引言 提起分布式，不少人能很清晰的阐述 paxos、CAP 等理论，但我们在遇到一个具体的分布式问题时，很少有人能知道如何做出一个“好”的设计。对于当前的很多分布式数据系统，包括开源的 HBase、Elasticsearch 等，我们一般只知其然，很少能够知其所以然。因为几乎所有的分布式数据系统 ....

摘要：如果 Consumer 端消费消息失败，那么 RocketMQ 是如何对失败的异常情况进行处理？ 前面两篇 RocketMQ 消息消费（一）/（二）篇，主要从 Push/Pull 两种消费模式的简要流程、长轮询机制和 Consumer 端负载均衡这几点内容出发，介绍了 RocketMQ 消息消 ....

作者：Rachel Thomas 编译：ronghuaiyang 导读 导读： 验证集的划分真的就是调用一个 train_test_split 函数这么简单么，其实并不是。 正文: 一个非常常见的场景：一个看起来非常好的机器学习模型在现实的生产环境中使用时是完全失败的。其后果包括老板对现在的机器学习 ....

作者：Netflix Technology Blog 编译：ronghuaiyang 英文原文：https://netflixtechblog.com/selecting-the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6 导读： ....

孙伟@Dell Flink 中文社区 摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括： 数据湖和 Iceberg 简介 未来规划 演示方案 存储优化的一些思考 一、数据湖和 ....

[图片] 架构、搜索、推荐、广告系统优质资源整理 AI 架构、搜索系统、 推荐系统、广告系统等技术资料整理。这篇文章意图是收集市面上质量不错的后端架构、AI 架构、搜索、 推荐、 广告引擎技术资料，内容来源包括开源项目官网（Lucene、Solr、Elastic）、综合技术网站（AIQ 、infoQ ....

[图片] 桔妹导读： 滴滴的路线引擎每天要处理超过 400 亿次的路线规划请求，路径规划是滴滴地图输出的核心服务之一。不同于传统的路径规划算法，本文主要介绍的是一次深度强化学习在路径规划业务场景下的探索，目标是为用户规划出最符合司乘双方习惯的路线，降低偏航率。 当我们打开滴滴使用网约车服务时，出发前 ....

文章摘要：MQ 分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下 RocketMQ 存储部分的架构 消息存储是 MQ 消息队列中最为复杂和最为重要的一部分，所以小编也就放在 RocketMQ 系列篇幅中最后一部分来进行阐述和介绍。本文先从目前几种比较常用的 MQ 消息队列存储方式 ....

58 数据平台部 58 技术 导读： 58 同城大数据团队，鉴于目前线上大数据集群各个组件 GC 方面的问题，考虑逐步在适合的大数据组件上应用高版本 JDK 上的 ZGC，目前已经在 HBase 集群上成功落地，在某些场景上有比较明显的效果。58 同城 HBase 集群应用的 JDK 为腾讯公司开源 ....

[图片] 作者：Eric He 编译：ronghuaiyang 导读: 这是 Rocketmiles 的搜索排名序列的第二部分。 Why we chose LambdaMART for our hotel ranking model Part 2 of Rocketmiles’ search res ....