前言:对于数据分析师来说,统计学是必不可少的基础知识。不仅工作中会经常运用其概念,且也几乎是数据分析师工作的面试必考题(尤其是校招以及转行的朋友,当实战经验少的时侯会更关注基础功底是否扎实)。所以我准备开始以较简练的语言,辅以简单易懂案例,总结一些统计学核心的知识点。我们常用的ab实验,其背后的原理就是统计学中的假设检验,今天我们来详细说说假设检验。
一、常用核心概念
什么是假设检验:假设就是对从总体参数(均值、比例等)的具体数值所作的陈述,比如,我认为配方一比配方二的效果要好。而假设检验就是先对总体的参数提出某种假设,然后利用样本的信息判断假设是否成立的过程,比如上面的假设信息我该接受还是拒绝。
什么是显著性水平:显著性水平是一个概率值,原假设为真时,拒绝原假设的概率,表示为α,常取值为0.05、0.01、0.10。一个公司招聘,本来准备招聘100个人,公司希望只有5%的人是混水摸鱼招聘进来,所以可能会有5个人混进来,所谓显著性水平α,就是你允许有多少比例混水摸鱼的能通过测试。
原假设与备择假设:待检验的假设又叫原假设(零假设),一般表示为H0,原假设一般表示两者没有显著性差异。与原假设进行对比的叫备择假设,表示为H1。一般在比较的时候,主要有等于、大于、小于。
检验统计量:即计算检验的统计量。根据给定的显著性水平,查表得出相应的临界值。再将检验统计量的值与该显著性水平的临界值进行比较,得出是否拒绝原假设的结论。
P值:是一个概率值,如果原假设为真,p值是抽样分布中大于或小于样本统计量的概率。左检验时,p值为曲线上方小于等于检验统计量部分的面积。右检验时,p值为曲线上方大于等于检验统计量部分的面积。
假设检验的两种错误:类型 I 错误(弃真),如原假设为真,但否定它,则会犯类型 I 错误。犯类型 I 错误的概率为 α(即您为假设检验设置的显著性水平)。α 为 0.05 表明,当您否定原假设时,您愿意接受 5% 的犯错概率。为了降低此风险,必须使用较低的 α 值。但是,使用的α值越小,在差值确实存在时检测到实际差值的可能性也越小。类型 II 错误(采伪),如原假设为假,但无法否定它,则会犯类型 II 错误。犯类型 II 错误的概率为 β,β 依赖检验功效。可以通过确保检验具有足够大的功效来降低犯类型 II 错误所带来的风险。方法是确保样本数量足够大,以便在差值确实存在时检测到实际差值。
单双测检验:当假设关键词有不得少于/低于的时候用左侧检验,比如灯泡的使用寿命不得少于/低于700小时时;当假设关键词有不得多于/高于的时候用右侧检验,比如次品率不得多于/高于5%时。双侧检验指按分布两端计算显著性水平概率的检验,应用于理论上不能确定两个总体一个一定比另一个大或小的假设检验。一般假设检验写作H0:μ1=μ2。
检验结果:单侧,若p值>α,不拒绝H0,若p值
1/2α,不拒绝H0,若p值1.96(临界值),故p2.069(临界值) ,故 p