威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题

DNS在线 29 0

编辑导语:有效的用户体验感调研有利于提升产品架构,更好的去完善产品。但是当市场样本量过少,如何科学衡量喜好程度?本文将分享一个数据分析的常见case——威尔逊得分。相信通过本文,可以学到一个更加科学的分析方法,一起来学习下吧。

威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第1张

“分享一个常见的场景,也是经常困扰大家的问题。”

先来一个场景:假设平台售卖两款手机A和B。A手机有800人喜欢,200人不喜欢;B手机有9人喜欢,2人不喜欢。那么,用户更喜欢哪款手机?

相信这个场景,各位朋友在日常生活中、在工作中都遇到过。你们平时是如何做判断呢?希望通过今天的文章,能给大家一个新的视角、也更加科学的方案。

一、常见的衡量方法

我想,大家的第一反应应该是按照比率进行衡量吧?因此,

A手机喜好率=800÷(800+200)=80%

B手机喜好率=9÷(9+2)=82%80%0.52,A手机的威尔逊得分高于B手机,按照该算法,我们有结论:在置信度95%的情况下,虽然A手机的喜欢率不如B手机,但是有理由相信用户对A手机其实是更加喜欢的。

3. 相关应用

其实该得分算法的应用还是比较多的。

除了上文中提出的例子外,该得分算法经常应用于各个网站的排序上。比如知乎的搜索排序(我看网上有说知乎是用的威尔逊得分进行的。这里我也没法验证,如果有知乎的朋友可以留言验证一下。关于搜索算法可以参考文章《搜索系统的基础知识以及应用》):

威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第5张

可以看出,知乎的搜索结果排序中,并不是完全基于赞同数量进行的倒叙排列。如果完全赞同数多的回答置顶,那么新的高质量回答,就永远没有出头之日了,对于内容生态的维护一定是有很大问题的。

威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第6张

当然,哪怕是用了威尔逊得分,真实实践中,也会在这个基础上增加更多维度的打分,咱们这里就是以此举例,说明威尔逊得分的应用场景,大家清楚就好。

如果只是想把威尔逊得分作为工具,那么掌握到这里、知道了公式该如何使用、如何计算、应用场景是啥,就足够了。但如果想深入理解一下公式的统计学含义以及推导逻辑,可以参考下面一节。

三、统计原理与逻辑

下面,我们一起看看这个威尔逊公式是怎么得到的,以及背后的统计学原理是啥。

1. 原理概述

首先,威尔逊得分只是威尔逊区间的一个变形,取了威尔逊区间的下限值作为威尔逊得分。

那什么是威尔逊区间呢?

本质上,威尔逊区间其实就是用户喜欢率的一个区间估计(关于区间估计可参考历史文章《区间估计的基础介绍》)。但是该区间估计考虑了样本过小时候的情况,根据样本量对区间估计进行了修正,使得该区间估计能够较好的衡量不同样本量情况。

说白了,我们用样本计算的用户喜欢率,本质上只是对用户真正的喜欢率的一个点估计而已,样本越少,可信度越低;样本数越多,根据中心极限定理,点估计越接近真实值。如果样本数都很多,那么我们直接计算手机A和B的喜欢率,基本就能代表真实情况了,是可以比较的。但是当样本数不够,就面临了上文中的问题。威尔逊,就是1920年代提出了这个区间估计的公式,用以解决小样本的准确性问题。

威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第7张

由于提出的公式是区间估计公式,所以本来是一个一个的区间。比如假设A手机的喜欢率95%置信区间估计是[0.77,0.83],B手机喜欢率95%的置信区间估计是[0.52,1]。如何对比两个区间呢?威尔逊得分就是取了不同区间的下限进行比较,因此哪个下限高,代表概率更高。

2. 公式推导

这里的公式推导其实还是有点复杂的,我不一一展开了,放一下网上的推导步骤截图,有兴趣的朋友可以自行探索一下啊!

威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第8张

威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第9张

3. 性质特性

最后我们看看这个公式的一些性质吧。

    威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第10张

    4. 变形扩展

    另外,我们这里都是二项分布。如果是评分等级问题:如五星评价体系,或者百分评价体系,该怎么办呢?

    将威尔逊得分的公式由伯努利分布修改为正态分布,带入相关参数即可。

    威尔逊得分:样本量过少,如何科学衡量喜好程度?一个数据分析的常见难题  第11张

    注意:均值和方差均是归一化之后的数值。

    关于威尔逊得分,我们就分享这些,希望对大家今后的数据工作能有所帮助。以后再衡量哪个更好,可以有更专业的算法模型了!

    作者:NK冬至;来源:微信公众号“首席数据科学家”

    本文由 @首席数据科学家 授权发布于运营派,未经许可,禁止转载。

    题图来自 Unsplash,基于CC0协议。

    抱歉,评论功能暂时关闭!