转载自 美团点评技术团队 一。 背景 效果广告的主要特点之一是可量化，即广告系统的所有业务指标都是可以计算并通过数字进行展示的。因此，可以通过业务指标来表示广告系统的迭代效果。那如何在全量上线前确认迭代的结果呢？通用的方法是采用 AB 实验（如图 1）。所谓 AB 实验，是指单个变量具有两个版本 A ....

导读： 大数据风控在互联网金融领域的应用已相对成熟，现在大多金融服务都已可线上进行，因此各个方面的风险控制更加信息化。风控系统的建立就是依赖于数据的积累做规则与分析，为风险控制提供更好的技术手段验证，而风控实验平台便提供了这样一个贯穿策略全周期的环境。今天度小满资深技术专家谭领航会和大家分享度小满风 ....

作者： 敖丙 少衡 见独 宏真 2016 年 9 月 19 日 话题：阿里巴巴语言 & 开发架构阿里云 引言 在线服务系统的 AB-test 方法有很多种。搭建多个可服务集群，从物理上对流量进行隔离是比较常见的一种方式。这种方式应用于大型复杂的在线服务系统时，存在部署比较慢的问题。这种方式的 ....

Conference Paper · May 2018 The Anatomy of a Large-Scale Online Experimentation Platform。 因为工作负责和 ABTest 相关的事情，所以对 ABTest 系统理论与工程落地情况一直在调研，根据上面这篇论文，我们 ....

导读： 5 月 23 日，马蜂窝旅游网宣布完成 2.5 亿美元新一轮融资，此轮融资由腾讯领投。 在接授腾讯《潜望》栏目的专访时，马蜂窝 CEO 陈罡谈到，「现在马蜂窝是个数据驱动的公司，要以结果说话，能用 ABTest 解决的问题就没有必要谈其他」。 作为一家数据驱动的公司，当前在马蜂窝 ABTes ....

Introduction Google 是一个数据驱动型公司，这意味着所有对用户的改动的发布，都要决策者以相应的经验数据作为依据。这些数据大部分是由在线流量上的实验产生的。在 Web 的语境下，一个实验是由一股流量（比如，用户的请求）和在这股流量上进行的相对对比实验的修改组成的。修改包括用户可见的修 ....

作者：Romain AYRES 本文由 AI 公园授权转载，转载请联系出处 编译：ronghuaiyang 导读 这篇博客文章的目的不是告诉你在运行 A/B 测试时应该做什么，而是告诉你不应该做什么。 “没有数据，你只是一个有观点的人。” 这个著名的_W. Edwards Deming_引用说明了 ....

[图片] 作者：子固 部门：数据中台 一、背景 有赞是一个商家服务公司，致力于帮助每一位重视产品和服务的商家成功。随着移动互联网的流量增长红利渐渐褪去，商家获得新的流量越来越困难，帮助商家实现更有效的流量转化与长期目标的增长是有赞 SaaS 服务的应有之义；同时，随着有赞 SaaS 功能的不断完善， ....

作者： [图片] 沈国阳 上一篇文章，我们通过一个八卦了解了 abtest 在产品功能及策略迭代过程中的重要价值，并且介绍了 abtest 的一个简单框架，以及多层 abtest 框架里面，层与层之间关系的定义。本篇将讨论数据跟踪方法和效果评估方法相关的话题。本文部分内容结合过往工作中学习到的知识进 ....

[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 后期我们会根据每个维度陆续写相关的测试文章，如果你有兴趣，请关注我们哦。

作者介绍： @花花 曾任职于美团、腾讯、今日头条担任数据分析师。 操盘过上百亿的资源评估，与大家一起成长学习。 01 前言 A/B 实验的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的结论，并确信该结论可推广到全部流量。目前已广泛用于推荐算法、产品交互设计、 ....

原文：姚凯飞 「无法衡量就无法优化」，对于互联网产品而言，不仅是推荐系统，整个 app 系统的更新迭代必然需要建立一套 「度量衡」，来 「把控整个流程优化的方向」 。而 abtest 系统就是一个很好的进行变量控制和优化方向选取的 「工具」，「循环：衡量-发现-迭代-验证」 。所谓 「精细化迭代」 ....

王喆 今天我们关注模型的评估和线上测试。有经验的算法工程师肯定非常清楚，在一个模型的开发周期中，占工作量大头的其实是特征工程和模型评估及上线的过程。在机器学习平台已经非常成熟的现在，模型结构的实现和调整反而仅仅是几行代码的事情。所以如果能够将模型评估和线上 AB Test 的效率提高，那一定是大大解 ....

我们观测到的值，并不是我们需要的参数的真实值，而是真实值的估计（举个例子，平均值和期望）；这也就意味着，估计可能是不准确的，ABtest 的结果可能是错误的。直观上说，样本越多，我们可能犯错的概率越小。我们梳理了这块儿的知识，做一个学习总结。 实际业务中，我们定量下面几个问题： 1）ABtest 是 ....

作者：Netflix Technology Blog 编译：ronghuaiyang 英文原文：https://netflixtechblog.com/selecting-the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6 导读： ....

[图片] 文章作者：贺园、刘扬 编辑整理：Hoh Xil 内容来源：《数据产品经理：实战进阶》 出品平台：DataFun 导读： 不管在精益创业还是增长黑客理论中，A/B 测试作为一种成熟的数据驱动产品优化的科学方法，其核心意义并不在于某一次试验的成功或者失败，而是这种通过试验和数据驱动的产品不断进 ....

什么是 AB 测试？ 在现实的产品迭代场景中，我们经常会遇到多个方案的选择的问题，在这里迭代的可以是 UI 界面，可以是算法策略。简单来说就是为同一个产品目标制定两个方案，一部分用户走 A 方案，另一部分走 B 方案，然后通过日志记录用户的使用情况，并通过结构化的日志数据分析相关指标，如点击率、转化 ....

导读： 2019 年 5 月 6 日，美团正式推出新品牌“美团配送”，发布了美团配送新愿景：“每天完成一亿次值得信赖的配送服务，成为不可或缺的生活基础设施。”现在，美团配送已经服务于全国 400 多万商家和 4 亿多用户，覆盖 2800 余座市县，日活跃骑手超过 70 万人，成为全球领先的分钟级配送 ....

[图片] 桔妹导读：在各大互联网公司都提倡数据驱动的今天，AB 实验是我们进行决策分析的一个重要利器。一次实验过程会包含多个环节，今天主要给大家分享滴滴实验平台在分组环节推出的一种提升分组均匀性的新方法。本文首先会介绍一下滴滴 AB 实验的相关情况，以及在实验分组环节中遇到的问题。然后介绍目前在实验 ....

58 招聘智能推荐系统 推荐的概念早已渗透进我们的日常生活中，我们欣赏过各类电影、音乐、游戏榜单，沉迷过电商节日层出不穷的百货商品，甚至钻研过如何选择投资理财，如何购房置业，如何开启更好的职业生涯。在这样一个信息爆炸的时代，我们永远不缺少选项，如果没有推荐发挥作用，在海量的数据面前，我们有时不知所措 ....