实验 ​

什么是“实验”？ ​

“实验”是一个可以监督和进行随机实验的页面。它有助于以科学的严谨性轻松分析您的功能的影响。

何时使用“实验”？ ​

“实验”非常适合进行 A/B 或 A/B/n 实验，或者当您想并行运行多个互斥实验时。

什么是 A/B 测试？ ​

A/B 测试起源于生物医学中的双盲测试。在双盲测试中，患者被随机分为两组，分别给予安慰剂和试验药物，而他们并不知道。经过一段时间的观察，实验者比较两组之间患者病情变化是否有差异，从而判断试验药物是否有效。在真实业务中，我们也利用 A/B 测试的概念。假设在当前产品周期中有两个方案 A 和 B（例如，方案 A 使用红色横幅，方案 B 使用蓝色横幅）。您可以测试方案 A 和 B 对随机抽样用户的影响，收集性能数据，然后根据结果将获胜方案应用于您的产品。

为什么我们需要 A/B 测试？ ​

【真实在线反馈】A/B 测试是衡量不同版本体验性能的好工具。它捕捉了解决方案变化与其效果之间的因果关系，并具有统计有效性。同时，它可以准确有效地量化解决方案带来的增量影响。【低成本，低风险】大型科技公司每年每季度推出各种优化策略（包括 UI 设计，算法优化等）。A/B 测试通过识别最佳策略，帮助这些企业以低成本和低风险提高产品利润。

实验案例 ​

• 难度系数调优：对于不同渠道来源的用户，进行不同关卡难度的设置（前2关易、前5关易），测试哪一种难度数值设置对用户的次留更好？

• 特性调优：快速验证新特性，比如新增“扭蛋机”和“钓鱼”特性，测试哪一个新特性的次留高，对整个小游戏的15日留存率或30日留存率带来更多提升

• 好友传播：针对分享落地页进行调优，变换“文案描述”、“图片内容”等元素，测试哪一种方案组合能够吸引更多人点击，进而带来用户裂变增长

• 变现调优：

  • IAA小游戏：在“离线收益”、“通关奖励” 等位置提示看广告，可以获得更多奖励（2倍或者3倍数值奖励），吸引玩家看广告
  • IAP小游戏：通过配置联动实验快速测试首充弹出时机（关卡），首充金额数值，来确定哪一个方案更吸引用户进行首充