目录 1、客户端与服务端的交互 2、频繁网络通信带来的性能低下问题 3、batch 机制：多条消息打包成一个 batch 4、request 机制：多个 batch 打包成一个 request “这篇文章，给大家聊一个消息中间件相关的技术话题，对于一个优秀的消息中间件而言，客户端与服务端通信的时候， ....

[图片] 桔妹导读： 随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1. 实时数仓建设目的 随着互 ....

[图片] 导读： 随着移动互联网和人工智能技术的发展，智能化营销正渗透到各行各业。如何衡量和预测营销干预带来的'增量提升'，而不把营销预算浪费在'本来就会转化'的那部分人身上，成为智能营销算法最重要的挑战。我们以 Uplift Model 为基础，构建营销增益预测模型，帮助商家锁定营销敏感人群，驱动 ....

作者：黄海安 编辑：田 旭 前 言 论文地址：https://arxiv.org/abs/1801.07372 开源地址：https://github.com/anibali/dsntnn 01 创新点 这篇文章我本人非常喜欢，因为这个问题困扰我很久了，后面会细说。当看到这篇文章的时候我确实蛮激动的 ....

摘要： 本文由快手大数据架构团队负责人赵健博分享，主要介绍 Apache Flink 在快手的过去、现在和未来。内容包括： 为什么选 Flink Flink 在快手的发展 业务数据流 技术创新 未来计划 一、为什么选 Flink 大家好，我是赵健博，来自快手，目前负责快手大数据架构团队。今天很高兴可 ....

[图片] 宽依赖与窄依赖 窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 窄依赖是指父 RDD 的每个分区只被子 RDD 的一个分区所使用，子 RDD 分区通常对应常数个父 RDD 分区(O(1)，与数据规模无关 ....

原文发布于微信公众号 - 小小挖掘机（wAIsjwj） 原文发表时间：2018.04.21 23:27 1、背景 在本系列第三篇文章中，在处理 DeepFM 数据时，由于每一个离散特征只有一个取值，因此我们在处理的过程中，将原始数据处理成了两个文件，一个记录特征的索引，一个记录了特征的值，而每一列， ....

Embedding 技术概览： [图片] 对其它 Embedding 技术不熟悉，可以看我的上一篇文章： 深度学习推荐系统中各类流行的 Embedding 方法（上） 1. Graph Embedding 简介 Word2Vec 和其衍生出的 Item2Vec 类模型是 Embedding 技术的基 ....

第一篇：微信「看一看」 推荐排序技术揭秘 第二篇：详文解读微信「看一看」多模型内容策略与召回 在微信 AI 背后，技术究竟如何让一切发生？我们将为你一一道来。今天我们将放送微信 AI 技术专题系列“微信看一看背后的技术架构详解” 的第三篇——《微信看一看内容理解》。 内容理解与推荐 相信对于不少人而 ....

面试题 为什么使用消息队列？ 消息队列有什么优点和缺点？ Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？ 面试官心理分析 其实面试官主要是想看看： 第一，你知不知道你们系统里为什么要用消息队列这个东西？ 不少候选人，说自己项目里用了 Redis、M ....

[图片] 桔妹导读： 指标体系是什么？如何使用 OSM 模型和 AARRR 模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。 1. 什么是指标体系 ▍1.1 指标体系定义 指标体系是将零散单点的具有相互联系的指标，系统化的组织 ....

来源： 贝壳智搜 在数据驱动、智能化浪潮中，工程和算法往往并行不悖。效果工具链贯穿了所有效果优化类业务，做到对优化流程的追踪、作业行为管控。作为效果优化系列的开篇文章，本篇旨在从工程角度介绍运营平台重塑作业流程的实施思路。除此篇之外，还包含算法迭代系统篇、搜索策略篇。 1.业务背景 随着业务规模现象 ....

分享嘉宾：罗景 58 同城 高级架构师 编辑整理：陈维美 出品平台：DataFunTalk 导读： 58 同城作为一个 UV 千万量级的 APP，覆盖了租房，招聘，二手房，二手车，本地生活，新房，新车等多个业务。在首页这个复杂的业务推荐场景下，我们面临着多业务融合挑战。如何利用从双通道到多通道到多场 ....

[图片] 分享嘉宾：黄民烈** **清华大学计算机系副教授，博士生导师 编辑整理：邓力 内容来源：《Reinforcement Learning in Natural Language Processing》 出品社区：DataFun 注：欢迎转载，转载请注明出处。 本文首先介绍了强化学习的概念和相 ....

背景 在推荐领域 CTR（click-through rate）预估任务中，最常用到的 baseline 模型就是 LR（Logistic Regression）。对数据进行特征工程，构造出大量单特征，编码之后送入模型。这种线性模型的优势在于，运算速度快可解释性强，在特征挖掘完备且训练数据充分的前提 ....

[图片] 文章作者：赵宏田 资深大数据技术专家 内容来源：《用户画像方法论与工程化解决方案》 导读： 在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据，这是企业经 ....

原文地址： https://segmentfault.com/a/1190000018626163 1. 概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 ....

[图片] 分享嘉宾：陈迪豪 第四范式 架构师 编辑整理：刘璐 出品平台：第四范式天枢、DataFunTalk 导读： 特征工程在推荐系统中有着举足轻重的作用，大规模特征工程处理的效率极大的影响了推荐系统线上的性能。第四范式作为国际领先的机器学习和人工智能技术与平台服务提供商，面向大规模特征工程问题开 ....

来源： 贝壳智搜 作为效果优化系列的第二篇，第一篇，本篇旨在从工程角度介绍算法迭代系统重塑模型迭代流程的实施思路。此系统作为效果工具链的其中一部分，主要功能使算法工程师不用离开算法迭代系统，即可完成数据处理、模型训练、模型评估到服务部署工作。 1.背景介绍 近些年来，人工智能已成为当今社会的热门话题 ....