更新时间：2024-09-19 13:16
A/B测试是一种新兴的网页优化方法，可以用于增加转化率注册率等网页指标。AB测试本质上是个分离式组间实验，以前进行AB测试的技术成本和资源成本相对较高，但一系列专业的可视化实验工具的出现，AB测试已越来越成为网站优化常用的方法。
A/B 测试，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计。A/B测试已经在Web上得到广泛的应用，也出现了不少的测试工具，Optimizely就是其中之一。
使用A/B 测试首先需要建立一个测试页面（variation page），这个页面可能在标题字体，背景颜色，措辞等方面与原有页面（control page）有所不同，然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率，即可清晰的了解到两种设计的优劣。
传统的A/B测试，是一种把各组变量随机分配到特定的单变量处理水平，把一个或多个测试组的表现与控制组相比较，进行测试的方式。
新的A / B测试，不仅仅其范围限制在web分析方面，而是为其注入新生命，即移动设备端分析。Pathmapp联合创始人兼首席执行官亚当Ceresko表示，开发人员需要大大提高优化工具的性能，移动分析已成为A/B测试增长最快的一个领域。
用一个电商App的场景作为例子。电商App集成了我们的SDK之后，就可以在AB测试控制台创建很多“测试版本”，每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告，并选择发布效果更好的测试版本。
拿这个例子来说，假如这个App有100万在线用户，通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本，产生了10万购买；另外50万用户看到右边版本，产生了40万购买。这个试验数据说明右边版本产生的转化率更高，可以通过控制台将这个版本推广到所有100万用户。
其中最重要的就是产品优势，科技在A/B测试引擎的流量分割方面下了很多功夫，可以尽量保证试验用户流量的代表性和试验数据的准确性，同时支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等。
长标题还是短标题
疑问句还是陈述句
正式语气还是非正式语气
强调卖点 A 还是卖点 B
大图片还是小图片
照片还是绘图
客户还是产品
单列销售信函布局还是多列布局
3页的形式还是1 页的紧凑形式
质量还是便利
功能还是服务
赚钱还是省钱
强调免费送货还是退货自由
列出所有的激励措施还是什么都不列
电话订购转换还是在线表格转换
任何测试都只是手段而非目的
A / B测试不是要让你用最新的技术、最新的软件或者算法，大部分时候一个纸上的原型或者线框里5秒钟的测试都能帮你的网站制作找到方向。好好利用那些简单、低廉的测试方式。
客观对待网站测试过程
不要让你的直觉推翻了测试结果。在A / B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站，一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率，而不是美学。
版本测试应注意样本大小
还有一点需要注意的是，A/B 测试的页面必须有较高的 UV （Unique Visitor，独立访客数），因为分流带有一定的随机性，如果页面 UV 太小，分到每一个版本的人数就更少，结果很有可能被一些偶然因素影响。而 UV 较大时，根据大数定理，我们得到的结果会接近于真实数据。
Pathmapp通过结合视觉分析和A / B测试，充分解决移动设备分析需求，一旦手机应用开发者，在手机应用中嵌入新A / B测试的代码，这款应用就能收集用户使用手机进行的每个交互活动，如交流，刷卡等。然后建立这个用户的数据，提供“Heatmapps”（即视觉密度地图），记录用户在哪方面以及与哪些应用程序发生交互。
该平台还通过应用程序，提供视觉显示最常见的路径，以及事故报告。所以，除了日志转储，Pathmapp可以显示用户点击过的应用程序。Ceresko说，Pathmapp的这个想法源于他成立APPEK的经验，这是一个租用手机应用程序代理平台，Pathmapp的总公司。
Pathmapp用了三年时间，将针对企业和独立开发人员基于Android、iOS和Facebook应用程序的设计和部署大功告成。首席执行官表示，在经历了一次次的挫折之后，A / B测试工具+视觉分析功能的移动A / B测试工具，功能很强大。
AppAdhoc独创性A/B测试革新
千万量级App用户规模支撑：主要面向是日活上万用户的App，后台可以支撑每日至少千万量级以上的各种App用户发起的试验请求与日志汇报。
科学的用户分割：使用学习算法将App用户按照日常行为进行分组，保证X%的试验流量(B)具有代表性，与(100-X)%的主流量(A)有可比性。支持多个试验并行运行，也支持多个试验重叠运行。
·准确的试验结果：使用Hadoop实现统计学的算法来处理数据，分析对比试验流量与主流量的结果数据，保证对比结果的置信区间
在实际进行AB测试的时候，往往有两种方法，一种是传统的由技术人员制作多个页面，然后通过URL重定向进行分类流量，而另外一种方法是通过专业的AB测试软件。前者需要花费较多的人力物力，而且在数据的分析上也比较麻烦，而后者则无需任何编程技术，基本能通过这些软件自带的编辑器实现。目测主流的测试工具包括：
Google Website Optimizer
搜索巨头提供的免费A/B测试工具。一个很好的入门级工具，但是没有一些先进的功能。
Visual Website Optimizer
一个易于使用的A / B测试工具，包含功能：如所见即所得的编辑器，单击地图，访问者分割和标签等。
Unbounce and Performable
集成着陆页设计的A / B测试工具。
Vertster, SiteSpect, Webtrends Optimize and Omniture’s Test&Target
企业级测试工具。
Testin A/B测试
国内A/B测试SaaS服务，2018年11月1日宣布免费，支持多终端。
云眼A/B测试
云眼A/B测试涵盖网站、移动端、全栈（前后端）等AB测试功能,可以验证创意、算法和策略是否符合用户需求,提高转化率和留存率,加速业务增长。