Cong Ling Kai Shi Zuo Yun Ying - Zhang L

　　· 样本规模差异。

　　在产品的运营上，我们经常需要做一些A/B测试来验证某个功能或者设计方案哪个更好，这个时候，最容易犯的错误，也是最容易带来数据说谎结果的情况，是样本规模有差异。比如，A类选型选择了100个用户，而B类选择了1 000个用户，不管我们最终选择绝对值，还是比例，其结果都会存在巨大的误差。

　　这些数据分析的误区以及数据说谎的手段，希望引起大家警惕，不要为了指标而做指标，也不要为了汇报好看而去对数据做手脚。这样的做法会逐渐积累风险，最后一发而不可收拾。

　　活动数据分析样例

　　图6–7是几个活动参与用户数的数据样例，让我们试着分析一下发生了什么。

　　活动1是一个参与用户数缓慢上升，到达峰值后回落的活动。

　　活动2是一个参与用户数有明显波动，经历“高开——稳定——冲新高——回落”的活动。

　　活动3是一个参与用户数高开低走的活动。

　　活动4是一个参与用户数异常稳定的活动，高峰和低谷基本处于同一水平。

　　通过第1个活动的数据，我们大概可以得出以下结论：

　　· 该活动提前预热不够；

　　· 该活动随着时间推移，效果有明显提升；

　　· 该活动开始后没有进行过任何调整（包括宣传与奖励）。

　　通过第2个活动的数据，我们大概可以得出以下结论：

　　· 该活动的提前预热做得很好；

　　· 该活动开始后进行过调整（宣传或者奖励）；

　　· 该活动的奖品发放控制可能有问题，后期力量不足。

　　通过第3个活动的数据，我们大概可以得出以下结论：

　　图6–7

　　· 该活动提前预热做得很好；

　　· 该活动没有进行过任何调整（包括宣传与奖励）。

　　通过第4个活动的数据，我们大概可以得出以下结论：

　　· 该活动宣传不足或宣传渠道有问题；

　　· 该活动的设计本身可能有问题。

　　这4个活动仅仅是一个样例，但我们可以从中发现一些问题：首先，一个活动的数据并不仅仅是数据层面的波动；其次，数据背后有很多因素互相交织，大量的因果关系导致了事件的发生，数据的走势也由此而来。

　　因此，我们接下来要说的就是跳出数据看数据。

　　跳出数据看数据

　　先考虑下面两个问题：

　　当我们在讨论数据的时候，我们真的是在讨论数据么？

　　当我们分析数据的时候，我们只是在看数据的涨跌变化么？

　　我们先不着急下定论，先来看一个小故事。

　　某个网络游戏做用户调研，收到4份同样内容的反馈：“这个游戏太费钱了。”于是，运营人员详细查了一下这4个用户的情况：

　　用户A，游戏角色战士，等级处于中等，活跃度一般，一般晚上11点下线，当月消费金额100元，身份可能是学生。

　　用户B，游戏角色法师，等级处于高级，活跃度很高，也肯花钱买装备，当月消费金额1 000元，身份可能是白领，并且他还是某个公会的会长。

　　用户C，游戏角色奶妈，等级处于低级，活跃度一般，花200元买了一年的会员服务。

　　用户D，游戏角色盗贼，等级高级，每天登录，活跃度极高，但从未付过费。

　　具体来看，虽然这些用户中，有人花了钱，有人没有花钱，但反馈是一样。另外，虽然同样是花钱，并且金额有差别，但是学生、白领、工人的消费能力是不一样的，能够承受的消费压力也不同。乐于消费的用户花钱买时间，而不乐于消费的用户则基本没有任何消费，但却热衷于在线，用时间来弥补。

　　经过一番细致的分析，运营人员大致理解了为什么4个不同类型的用户会有同样的反馈。

　　用户A，由于角色设计的考虑，战士在现有版本的设计中很容易被其他敌对阵营的玩家压制，同时因为消费能力不足，100元在其日常支出中占了很大的比例，所以用户A理所当然地认为“费钱”。

　　用户B，由于游戏设计的考虑，法师对怪物的杀伤力高，在游戏中大受欢迎，虽然在线时间不多，但由于花钱买了装备，所以每次上线都非常抢手，一直被拉去打副本。这样一来二去，装备投入、药品投入都很多；因为是会长，他还要花精力去处理公会的事宜，所以他虽然活跃度很高、也愿意花钱，但仍然认为游戏太费钱了。

　　用户C，由于要赶超等级进度，但又不想花钱买装备，所以看中了一次性买一年会员的额外经验加成，于是一次性投入了对他来说不算太小的一部分收入。

　　用户D，没钱但是有时间，所以别人花钱，他花时间，同时他可能会在游戏过程中产生了其他消费。

　　看完这个案例，我想大家已经明白了。是的，我们在进行数据分析的时候，其实想要了解的不仅仅是数据，而是数据背后的用户。

　　因此，读懂数据的关键是读懂数据背后的人。那么，如何读懂数据背后的人？

　　抛弃预设立场

　　分析数据的第一步是要抛弃预设的立场，先不要着急定义数据展现的意义，而是研究数据的波动和波动的节点，通过这一步去确立要研究哪些相关事件，研究用户行为还是系统事件。

　　最常见的误区是：

　　“最近的数据好像有点问题啊，找找原因吧！”

　　“啊？好像产品出了个bug，会不会有影响？那赶紧看看bug被发现的时间！”

　　“哦！你看，时间吻合的嘛，那就是这个问题了！”

　　事实上，因为你已经预设了立场