查看原文
其他

在线阅读!!机器学习数学精华:概率论与数理统计

机器学习初学者 机器学习初学者 2022-05-16

机器学习,需要一定的数学基础,需要掌握的数学基础知识特别多,如果从头到尾开始学,估计大部分人来不及,我建议先学习最基础的数学知识,基础知识可以分为高等数学、线性代数、概率论与数理统计三部分,我整理了相关数学基础资料:

源文件下载:

https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math

内容简介

一、斯坦福大学CS229数学基础

这是斯坦福大学 CS 229 机器学习课程的基础材料,是斯坦福各大人工智能课程的数学基础,对人工智能课程做了优化,强烈推荐!!

我们对原始教程进行了翻译,翻译版本做成了在线阅读版本。

(点击查看:1.线性代数,2.概率论

、国内大学的数学基础教材精华

这个是我考研考博时候整理的中文教材的资料,分为高等数学、线性代数、概率论与数理统计三部分,我把和机器学习相关的数学知识进行了整理,进行公布。

本文是概率论和数理统计部分,建议收藏慢慢看。


概率论和数理统计

随机事件和概率

1.事件的关系与运算

(1) 子事件:,若发生,则发生。

(2) 相等事件:,即,且 。

(3) 和事件:(或),中至少有一个发生。

(4) 差事件:发生但不发生。

(5) 积事件:(或),同时发生。

(6) 互斥事件(互不相容):=

(7) 互逆事件(对立事件): 

2.运算律(1) 交换律: (2) 结合律: (3) 分配律:

3.德摩根律

 

4.完全事件组

两两互斥,且和事件为必然事件,即

5.概率的基本公式(1)条件概率: ,表示发生的条件下,发生的概率。

(2)全概率公式: 

(3) Bayes 公式:

 注:上述公式中事件的个数可为可列个。

(4)乘法公式:  

6.事件的独立性

(1)相互独立

(2)两两独立 ; ;;

(3)相互独立  ;  ; 

7.独立重复试验

将某试验独立重复次,若每次实验中事件 A 发生的概率为,则次试验中发生次的概率为: 

8.重要公式与结论 

 

 

(5)条件概率满足概率的所有性质, 例如:.   

(6)若相互独立,则 

(7)互斥、互逆与独立性之间的关系: 互逆 互斥,但反之不成立,互斥(或互逆)且均非零概率事件不独立.

(8)若相互独立,则也相互独立,其中分别表示对相应事件做任意事件运算后所得的事件,另外,概率为 1(或 0)的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机变量,概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义: 

性质:(1)

(2) 单调不减

(3) 右连续

(4) 

3.离散型随机变量的概率分布

4.连续型随机变量的概率密度

概率密度;非负可积,且:

(1)

(2)

(3)的连续点,则:

分布函数

5.常见分布

(1) 0-1 分布:

(2) 二项分布:: 

(3) Poisson分布:: 

(4) 均匀分布

(5) 正态分布: 

(6)指数分布:

(7)几何分布:

(8)超几何分布: 

6.随机变量函数的概率分布

(1)离散型:

则: 

(2)连续型:

则:, 

7.重要公式与结论

(1)  

(2) 

(3) 

(4) 

(5) 离散型随机变量的分布函数为阶梯间断函数;连续型随机变量的分布函数为连续函数,但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量, 联合分布为

2.二维离散型随机变量的分布

(1) 联合概率分布律 

(2) 边缘分布律  

(3) 条件分布律  

3. 二维连续性随机变量的密度

(1) 联合概率密度

(2) 分布函数:

(3) 边缘概率密度:  

(4) 条件概率密度: 

4.常见二维随机变量的联合分布

(1) 二维均匀分布: ,

(2) 二维正态分布:,

5.随机变量的独立性和相关性

的相互独立::

(离散型) (连续型)

的相关性:

相关系数时,称不相关, 否则称相关

6.两个随机变量简单函数的概率分布

离散型:  则:

连续型:  则:

7.重要公式与结论

(1) 边缘密度公式:  

(2) 

(3) 若服从二维正态分布 则有:

  1. 相互独立,即不相关。

  2. 关于的条件分布为: 

  3. 关于的条件分布为: 

(4) 若独立,且分别服从 则:

(5) 若相互独立,为连续函数, 则也相互独立。

随机变量的数字特征

1.数学期望

离散型:

连续型: 

性质:

(1) 

(2) 

(3) 若独立,则

(4)

2.方差

3.标准差

4.离散型:

5.连续型:

性质:

(1)

(2) 相互独立,则

(3)

(4) 一般有 

(5)

(6)

6.随机变量函数的数学期望

(1) 对于函数

为离散型:

为连续型:

(2) ; ;

7.协方差

8.相关系数

,阶原点矩 阶中心矩 

性质:

(1)

(2)

(3)

(4)

(5)  ,其中

 ,其中

9.重要公式与结论

(1)

(2)

(3) 且 ,其中

,其中

(4) 下面 5 个条件互为充要条件:

    

注:独立为上述 5 个条件中任何一个成立的充分条件,但非必要条件。

数理统计的基本概念

1.基本概念

总体:研究对象的全体,它是一个随机变量,用表示。

个体:组成总体的每个基本元素。

简单随机样本:来自总体个相互独立且与总体同分布的随机变量,称为容量为的简单随机样本,简称样本。

统计量:设是来自总体的一个样本,)是样本的连续函数,且中不含任何未知参数,则称为统计量。

样本均值:

样本方差:

样本矩:样本阶原点矩:

样本阶中心矩:

2.分布

分布:,其中相互独立,且同服从

分布: ,其中 相互独立。

分布:,其中相互独立。

分位数:若则称分位数

3.正态总体的常用样本分布

(1) 设为来自正态总体的样本,

则:

  1. 或者

4)

4.重要公式与结论

(1) 对于,有

(2) 对于,有

(3) 对于,有 

(4) 对于任意总体,有 


关于本站



机器学习初学者”公众号由是黄海广博士创建,黄博个人知乎粉丝23000+,github排名全球前110名(32000+)。本公众号致力于人工智能方向的科普性文章,为初学者提供学习路线和基础资料。原创作品有:吴恩达机器学习个人笔记、吴恩达深度学习笔记等。



往期精彩回顾


备注:加入本站微信群或者qq群,请回复“加群

加入知识星球(4300+用户,ID:92416895),请回复“知识星球


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存