【原理到实战】实验异质性分析

主要观点总结

本文介绍了实验的异质性分析，包括概念解析、异质性分析对业务的意义、异质性分析的维度选择和方法选择等。文章还通过案例展示了异质性分析的应用，并提供了MVP功能说明和未来展望。

关键观点总结

关键观点1: 实验异质性概念及定义

实验中同一个treatment对不同的实验样本，得到的策略效果可能是不一样的。这一概念被称为实验的异质性（Heterogeneous Treatment Effects，简称HTE）。另外，由于业内并没有统一的定义，HTE、CATE、ITE概念在一定程度上会有混用的情况。

关键观点2: 异质性分析对业务的意义

了解策略对于不同用户的不同效果，协助挖掘背后的业务逻辑，辅助迭代、进行新一轮的实验；尝试寻找策略最优子人群；对实验结果进行建模后预测，对线上提供动态的最优人群支持。

关键观点3: 异质性分析的维度选择

当分析维度与实验分流无关时，可以作为异质性的维度进行后续分析。常见的简化方式是通过用户在首次进入实验前一天的标签取值来选取分流单元的维度。

关键观点4: 异质性分析的方法选择

介绍了CATE维度下钻、方差分析（ANOVA）、因果树（Causal Tree）、ITE Meta Learner、DML以及ITE + CATE hybrid ITE Model等方法，并分析了它们的应用场景和优缺点。

关键观点5: 案例分析

通过近期某频道重点改版实验的例子，展示了异质性分析的应用。实验整体指标不显著，但通过运行分析工具发现了两类子人群分别具有正向和负向的显著效果。

关键观点6: MVP功能说明

项目提供了自动化工具进行异质性分析，包括自动生成实验目标指标的CATE差异最大化子人群、提供调参接口、提供可视化的模型结果输出等。同时，也提供了未来展望，如自定义分流表、自定义画像表、CATE模型迭代等。