1 背景 作业帮大数据团队主要负责建设公司级数仓，向公司各个重要产品线（拉新、教学、BI 等）提供面向业务的数据信息，如到课时长、答题情况等。在过去半年多时间内，我们基于 Apache Doris，构建了数仓实时查询系统。本文总结并分享下期间的工作内容，也欢迎大家一起讨论。 典型的数仓从逻辑上划分为 ....

朱敏 紫顺 乐钦等 美团技术团队 1. 背景 搜索优化问题，是个典型的 AI 应用问题，而 AI 应用问题首先是个系统问题。经历近 10 年的技术积累和沉淀，美团搜索系统架构从传统检索引擎升级转变为 AI 搜索引擎。当前，美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线 AI 服务及 ....

即刻首页的动态广场是一个发现好玩圈子和有趣即友的地方。如何让每一个用户都能在上面看到自己感兴趣的内容，是即刻推荐团队一直以来努力的目标。 去年我们分享了一篇技术文章，介绍如何在线上服务中使用 Spark MLlib，解决了排序模型的线上 serving 问题。过去这一年，即刻推荐系统完成了从 Spa ....

本文是工业界和学术界共同合作的产物。Layer 6 AI 和 University College Dublin 的科学家们提出一种通过整合矩阵分解（MF）模型和对抗式 Seq2Seq 模型的多任务学习框架，并利用强化学习来尝试生成评论，借以解答推荐系统的研究和应用领域一种“殿堂”级的难题——推荐系 ....

摘要： 微博机器学习研发中心数据计算负责人，高级系统工程师曹富强为大家带来 Flink 实时计算在微博的应用介绍。 一、微博介绍 本次给大家带来的分享是 Flink 实时计算在微博的应用。微博是中国领先的社交媒体平台，目前的日活跃用户是 2.41 亿，月活跃用户是 5.5 亿，其中移动用户占比超过了 ....

文章摘要：在发送消息给 RocketMQ 后，消费者需要消费。消息的消费比发送要复杂一些，那么 RocketMQ 是如何来做的呢？ 在 RocketMQ 系列文章的前面几篇幅中已经对其“RPC 通信部分”和“普通消息发送”两部分进行了详细的阐述，本文将主要从消息消费为切入点简要地介绍下“Rocket ....

短视频具有内容丰富、信息集中、用户粘性大 的特点，如何提高短视频分发的效率和推荐精准度，有效提升消费时长、留存 等关键业务指标，是推荐系统 的核心能力和建模目标。 本文主要分享在短视频推荐 场景下，爱奇艺基础推荐团队在排序模型多目标优化 方面的历史 和进展。第一部分主要介绍多目标建模的业务背景，第二 ....

[图片] 分享嘉宾：潘国庆@携程 文章整理：王钊 内容来源：Flink Forward 来源： DataFunTalk 导读： 将实时计算和深度学习相结合、可解决某种特定的业务场景。本次将分享基于 tensorflow 和 flink 构建携程的实时智能检测平台。 今天分享的主要内容分为四个部分： ....

以下文章来源于 dbaplus 社群 ，作者王康 摘要： 自 2017 年起，为保障内部业务在平时和大促期间的平稳运行，唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台，现在的平台支持 Flink、Spark、Storm 等主流框架。本文将分为五个方面，分享唯品 ....

浅梦的学习笔记 关注专栏写文章 “ 本文介绍了跨境电商 Etsy 如何利用用户历史交互行为的类型(如浏览，喜欢，收藏，加购，购买等)来完善物品的 embedding 表示，并进行可解释推荐。在离线和在线实验中均验证了引入交互类型信息后对于建模用户行为的准确性有提升。” 背景和介绍 工业级的推荐系统已 ....

以下文章来源于小米技术 ，作者蔡聪辉&钟云 小米技术 小米云平台部，主要分享云存储、云计算、系统、网络、运维、私有云、安全、数据库、内核等内容，欢迎感兴趣的朋友们加入！ 1、背景 随着小米互联网业务的发展，各个产品线利用用户行为数据对业务进行增长分析的需求越来越迫切。显然，让每个业务产品线都 ....

门畅 徐哲 刘春阳 滴滴技术 [图片] 桔妹导读：如何解决供需不平衡问题呢？一个自然的想法就是调度空闲的在线司机到需求较多的区域。滴滴网约车团队近期发表在万维网大会 WWW 2020 Research Track 的 Oral 长文《When Recommender Systems Meet Fle ....

业务研发，到了一定阶段需要对设计进行抽象化进行，抽象化两种方式一种是程序库，通过调用库形式实现代码重用，例如 dll、so、jar 包，另一种形式是通过服务形式，比如 Web 服务 soa 以及当下微服务形式对业务模块进行抽象化设计。 [图片] 对于线上业务抽象化去实现，具体到实现方式上，在 Jav ....

原文发布于微信公众号 - 小小挖掘机（wAIsjwj） 原文发表时间：2018-11-04 在本系列的推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现中，我们介绍了阿里的深度兴趣网络(Deep Interest Network，以下简称 DIN)，时隔一年，阿里再次升级其模 ....

摘要： 本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。本次分享主要围绕以下四个方面： B 站实时的前世与今生 Flink On Yarn 的增量化管道的方案 Fli ....

摘要：在 RocketMQ 中，消息消费都是基于 Pull 消息方式，那么 Push 模式中又是如何实现 Consumer 端准实时消费的呢？ 在上一篇—“消息中间件—RocketMQ 消息消费（一）”中，已经简要地介绍了下 RocketMQ 中“Pull 和 Push 两种消费方式的简要流程”以及 ....

本文根据美团配送资深技术专家郑艳伟在 2019 SACC（中国系统架构师大会）上的演讲内容整理而成，主要介绍了美团配送技术团队在建设一站式机器学习平台过程中的经验总结和探索，希望对从事此领域的同学有所帮助。 0. 写在前面 AI 是目前互联网行业炙手可热的“明星”，无论是老牌巨头，还是流量新贵，都在 ....

[图片] 李明阳 滴滴技术 导读：今天给大家分享的主题是搜索匹配问题在 DiDi Food 中的一些探索与应用。本文首先介绍了搜索相关性的一些背景，之后介绍了业界常见的三种匹配模型，以及在 DiDi Food 业务中的模型效果对比。 匹配模型包括：1. 基于表征的深度匹配模型；2. 基于交互的深度匹 ....

[图片] 以下文章来源于 Flink 中文社区 ，作者余东@去哪儿 2021 年加入 Qunar，主要负责数据平台 Flink 的运维与平台开发。 本文导读 [图片] 背景及特点 1. 背景 在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结 ....