闲鱼技术 | 如何实现卖家增长任务的 AB 实验

逸初，远悠 闲鱼技术

背景

闲鱼是国内最大的二手闲置交易平台，卖家承担着商品供给的重要任务，对平台 dau 的影响也更大，所以我们会探索不同策略对卖家增长的影响与帮助。但接下来，如何借助 AB 实验对这些策略作科学的评估，就成了另一个挑战。本文提出了"全流量 AB 实验"这一设计，用于"实验对象在供给侧，且为浅库存"这样的约束场景下，完成了传统 AB 实验难以胜任的评测任务。

业务背景与传统 AB 方案

二手闲置交易是个特殊的电商场景，卖家并不通过招商引入(对比天猫平台的商家类型会有更直观的对比)，而是以出售个人闲置的普通用户为主。相比于买家，这些卖家的交易与留存更值得关注，体现在以下几点：

1.卖家需求更迫切

买家购物的选择有很多，不买二手还可以买新品；但卖家不能成功售出，就是他的一个负担和资源浪费。

2.卖家决定着平台供给

若一个卖家未能售出，则直接影响下一次商品发布的积极性，损失了潜在的供给，且闲鱼平台不少类目呈现供小于需的状态。

3.卖家成交比买家成交的留存增益更高

相应地，卖家完成交易，认可闲鱼平台真的能帮助一般卖家发布和销售闲置商品后，可以让用户对平台更易形成依赖与粘性。接下来，如何对卖家策略作 AB 实验，是一个新的挑战。为什么这么说，先让我们回顾下传统的 AB 实验设计。

AB 实验是互联网各厂主流的一种策略评估手段。比如一个推荐系统想迭代一次 ctr 预估模型，就可以对流量作随机分组，不同分组使用不同的 ctr 预估模型，然后观察用户日志作数据回收。这样就完成了一次随机对照实验(RCT，RandomizedControlledTrial)。根据实际数据得到客观、量化的策略效果影响，为产品迭代提供精准的指导。那如何实现 AB 实验呢？ 最简单的，按照请求 id 对流量作随机划分，此时同一用户的多次请求会落到不同的实验分组中，每个实验桶可以实验不同的参数模型预估 ctr，由于流量是随机划分的所以每个实验是统计独立的，从中可以挑选效果最好的模型。电商场景下，关注的已不只是 ctr 这样单纯的流量指标，而是以人为维度的 uv 指标，如买家的人均订单数以及 uv 留存等，所以实验流量的划分会更进一步，从"请求 id"变为"买家 id"为维度。闲鱼搜索场景也是如此，见图 1。

图 1.一般 ab 实验框图

在图 1 这样的设计下，可以满足对买家的实验控制，如迭代一版交互 ui，或者一版搜索相关性模型等。但现在实验的对象是卖家，我们简单作角色替换行不行？ 答案是否定的，因为我们永远不可能像买家划分那样，同一个卖家只能出现在某一个流量桶中，这样相当于搜索候选池缩小至 1/N(N 为划分的桶数)，成交势必严重下跌。目前有一些其他的折中设计，但也不完美，列举如下。一种是以类目作为流量的划分依据。即根据 query 所属类目的不同，来区分对控制组与实验组。它的不足之处在于不同类目的供需关系及成交效率天然就会存在差异，难以做到随机分组的要求。还有一种做法是隔天实验，即 T 日流量使用控制策略，T+1 日流量使用实验策略，T+2 日再使用控制策略，这样交替进行，即相当于把时间当做划分依据。但是这种设计有两处不足：1)太过理想化，忽略了不同时间本身可能就是一个影响因子，如周末，节假日，app 更新等都会影响到用户表现；2)当观察指标本身涉及到时间时，比如长期留存，它就要求同一个用户下不同时间的策略也要一致。在提出全流量 AB 实验的设计思想前，我们先列出一个具有说服力的 AB 实验需要满足的条件。

具有说服力的 AB 实验应遵循的准则

1.同一个商品/卖家，不能因流量桶不同而出现策略差异

传统 AB 实验，同一个买家只能落到确定的一个桶里，就是为了保障策略的固定性，否则多个实验策略叠加一起，影响准确归因。这里也一样，同一个卖家不能同时受到多种分发策略的影响，破坏 AB 实验的单一变量原则。

2.供给配额要与流量分配一致，否则易出现推全收益低于 ab 收益，ab 参考价值有折扣

假设有个实验策略相比对照组有改进，该策略对某些受到低估的商品集合 A(1 万量级)预估得更准了，单桶 AB 下拿到了成交 +5% 的收益，但由于集合 A 较小，且闲鱼因出售的是个人闲置，浅库存特性显著，一个桶的流量已足以把它们消耗完毕，实验扩大到两个桶后，由于相互竞争，收益会降至 +2.5%，推全后收益更加不显著，如此则丧失了 AB 实验 "收益客观且具有推全后一致性" 的参考意义。

3.干预策略不要伤害到对照组。

这个很直观，比如对实验组的目标商品加权时，对照组的商品不应该受此影响被挤到后面。

全流量 AB 实验的设计

与以上三个准则呼应，我们对搜索结果页的卖家 id 作流量划分，对比见图 2。

图 2.全流量 AB 实验设计思想

1.全流量桶 AB。所有买家桶中都是一样的代码。这些代码自带卖家分组的 if-else 逻辑。

• 本文地址：闲鱼技术 | 如何实现卖家增长任务的 AB 实验
• 本文版权归作者和AIQ共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出

常规 AB:实验组与对照组来自不同买家之间请求粒度的流量划分；全流量 AB 实验：实验组与对照组来自搜索结果页不同卖家之间坑位粒度的流量划分，因卖家实验组策略会出现在所有流量分桶中，故名全流量 AB 实验。

2.供给分组与流量分组均为 50%，保持一致

离线对卖家 id 作哈希划分，如作二等分。因为是随机划分，所以搜索结果页中，实验组卖家的流量也应该是 50%，这就满足了供给与分发配额一致的要求。

3.排序策略的干预只在实验组流量内进行，对照组不受干扰。

因为实验组与对照组在同一搜索结果页中，所以对目标商品加权时要额外留意。

应用案例：流失卖家倾斜

任务背景

表 1.流失卖家与新卖家受到聊天(买家点"我想要"发起询单)激励后，留存增益显著

所以从留存价值考虑，对当日到访的且未受到我想要激励的新/流失卖家，作流量倾斜实验，为什么不直接选成交呢，因为"商品曝光-> 询单"的转化率为"商品曝光-> 成交"的转化率的 10 倍，意味着可以节省流量扶持更多目标卖家。

全流量 AB 实操

除了章节二中的理由外，当日到访新卖家总共才 1 万量级，不做全流量 AB，影响到的 uv 过少，波动会是个大的干扰。见图 3。此时我们要对比的就是，A1 卖家相较 B1 卖家，在聊天 uv，成交 uv，留存效果上的提升。

图 3.全流量卖家 AB 在流失卖家倾斜实验中的案例

4.3 实验结果

目标卖家扶持的有效性

表 2.全流量 AB 实验 5 天数据见下。收到"聊天"激励的卖家 uv 占比提升了 +22%，符合预期。

验证扶持后对整体的交易效率有无伤害

既然是扶持，意味着此前排序靠后的商品加权排在了前面，那是否真的会影响整体的人均买卖家指标呢？ 下表显示实验组的人均买卖家反而有提升。5 日平均人均买卖家提升了 +1%（如下表 3）

需要进一步印证。查看扶持后新卖家商品的 ctcvr，流失卖家商品的 ctcvr，均高于整体流量。

引申讨论

Q1:全流量 AB 设计完美，但需要把卖家实验逻辑合并到每一个在线的代码方案中。当场景下的方案分散时，工作量较大，此时有其他做法么？

A1:也可以牺牲一些理论约束，如第二章中的第一条：“同一个卖家，不能因流量桶不同而出现策略差异”，轻量级地单流量桶 AB。此时 AB 的参考价值有轻微折扣。具体地，单流量桶卖家 AB 怎么做？ 我们需要确定它的流量占比，卖家分组时确保实验组的供给侧配额与其一致。回收数据时，对照组与实验组的流量均来自单流量桶。

Q2:此时的人均买卖家指标，还能和买家分桶的指标对齐么？

A2:不能。该口径为流量分组内的成交卖家 uv+ 成交买家 uv/到访买家 uv。当采用全流量 AB 时，到访买家 uv 这一分母不变，但交易 uv 会降至原来的 1/2，因为它是把搜索结果页的坑位给拆成了两半。此时依旧用卖家实验组 vs 卖家对照组作人均买卖家的对比即可，具有公信力。

Q3:各个买家流量桶含有不同的实验逻辑，会对卖家分组实验带来干扰么？

A3:如果各桶已有实验不含相关卖家逻辑，只要逻辑正交，可以保证无干扰。