查看原文
其他

数据科学家,知道这些统计知识就对了

Lia 大数据应用 2022-10-18

今日份知识你摄入了么?

在这个数据驱动的世界中,我们都认识到统计学给数据科学领域带来了巨大影响。数据科学中,最重要的步骤是发现模式、趋势并进行预测。

本篇文章将讨论统计领域的一些基本术语,这些术语在统计数据分析中起着至关重要的作用。



数据类型和数据中的个体


  • 单位:单位是研究中包含的人或物体。数据所描述的内容就是单位。在这样的表格中,一行表示一个单位,它们也被称为标识符。

  • 变量:变量描述了通过测量获得的个体信息,如长度、时间、直径、强度、重量、温度、密度、厚度、压力和高度。你可以用这些变量轻松获取个人或群体的趋势。


数据类型主要分为以下两种:


  • 数字数据:这类数据用数字表示并且是可测量的。该数据可进一步分为离散数据或连续数据两个子类别,例如身高、速度、年龄、体重、销售额、成本等。

  • 分类数据:即分成组的信息的集合。定性数据分为几类,即性别、年龄组、产品类别、教育水平等。

 集中量数


  • 均值:即数据集的数学平均值。

  • 中位数:即按升序或降序排序的数字列表中的中间数字,比平均值更能说明该数据集。

  • 众数:即一组数据中最常看到的值。


变量的衡量


  • 范围:即数据集中最高值和最低值之间的差值。



其中,X为数据集,

方差(σ^2):用来衡量数据集的分散程度。



标准差(σ):用来衡量一组数据与其均值的离散程度。



Z 分数:Z 分数是一种数据化计量,用于描述一个值与一组值的均值之间的关系。 Z 分数是根据与平均值的标准偏差来衡量的。

IQR(四分位距:四分位距是衡量“中间百分之五十”在数据集中的位置。


平均绝对偏差(MAD)


数据集的平均绝对偏差,是每个数据点与平均值之间的平均距离。我们可以通过平均绝对偏差了解数据集的可变性。


其中,

n=数据值的数量

xi=数据集中的数据值

m(x)=数据集平均值


峰度和偏度


峰度(Kurtosis):特点为平坦或尖峭,用来衡量数据在正态分布中是重尾还是轻尾。


  • 中峰 (Mesokurtic)分布宽度适中,曲线峰高中等。

  • 低峰 (platykurtic)尾部的值越少,接近均值的值越少。(即曲线有一个平坦的峰值)

  • 高峰(leptokurtic) 分布尾部的更多值和更多接近均值的值(即尖峰与重尾)



  • 偏度:偏度用来衡量分布对称性。如果模式一侧的尾部比另一侧更粗或更长,则分布是偏斜的,即不对称的。

  • 正偏(Positively skewed)表示右侧的尾巴比左侧的长。

  • 负偏斜(Negatively skewed)表示左边的尾巴比右边的长。


  • 集群(Cluster):即区分于其他组,并聚集起来的一组值。

  • 异常值(Outliers):区分于大多数(多数值)的少数值。


异常值并不影响中位数和众数,只影响分布的方法。


  • 峰值(Peaks)分布中的最大值。

  • 间隙(Gaps)某些数据点之间的“大型”开放空间。



变量之间关系的测量:

协方差:


协方差决定了两个随机变量或样本之间的关系——它们是如何一起变化的。或者换句话说,也可以说协方差是衡量两个随机变量一起波动的程度。

协方差可以计算为,


1. 总体协方差公式。

2. 样本协方差公式。

相关性:


相关性是一种统计学度量,表明两个变量线性相关的强度。或者说,相关性是一种统计学度量,表示两个或多个变量一起波动的程度。

相关性可以计算为,

(Moments)


矩描述了分布的性质和形状的不同方面。第一个矩是均值,第二个矩是方差,第三个矩是偏度,第四个矩是峰度。

感谢阅读!

原文作者:Prakhar Patel

翻译作者:Lia

美工编辑:过儿

校对审稿:Jiawei Tong

原文链接:https://patel-prakhar09.medium.com/basic-fundamentals-of-statistics-every-data-scientist-should-know-ab30425c6f76

本周公开课预告


往期精彩回顾


想快速学习数据科学?技巧经验都在这儿!

如何准备Front-End Back-End岗位面试?

2021年数据工程师,你最需要这10个技能!

详解netflix推荐系统

数据岗位大合集|DS、DA、BA和DE的区别及求职面试重点





点「在看」的人都变好看了哦

点击“阅读原文”查看数据应用学院核心课

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存