在线阅读！！机器学习数学精华：线性代数
机器学习，需要一定的数学基础，需要掌握的数学基础知识特别多，如果从头到尾开始学，估计大部分人来不及，我建议先学习最基础的数学知识，基础知识可以分为高等数学、线性代数、概率论与数理统计三部分，我整理了相关数学基础资料：
源文件下载：
https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math
内容简介
一、斯坦福大学CS229数学基础
这是斯坦福大学 CS 229 机器学习课程的基础材料，是斯坦福各大人工智能课程的数学基础，对人工智能课程做了优化，强烈推荐！！
我们对原始教程进行了翻译，翻译版本做成了在线阅读版本。
二、国内大学的数学基础教材精华
这个是我考研考博时候整理的中文教材的资料，分为高等数学、线性代数、概率论与数理统计三部分，我把和机器学习相关的数学知识进行了整理，进行公布。
本文是线性代数部分，建议收藏慢慢看。
行列式
1.行列式按行（列）展开定理
(1) 设，则：
或即 其中：
(2) 设为阶方阵，则，但不一定成立。
(3) ,为阶方阵。
(4) 设为阶方阵，（若可逆），
(5) ，为方阵，但 。
(6) 范德蒙行列式
设是阶方阵，是的个特征值，则
矩阵
矩阵：个数排成行列的表格 称为矩阵，简记为，或者 。若，则称是阶矩阵或阶方阵。
矩阵的线性运算
1.矩阵的加法
设是两个矩阵，则 矩阵称为矩阵与的和，记为 。
2.矩阵的数乘
设是矩阵，是一个常数，则矩阵称为数与矩阵的数乘，记为。
3.矩阵的乘法
设是矩阵，是矩阵，那么矩阵，其中称为的乘积，记为 。
4. 、、三者之间的关系
(1)
(2)
但 不一定成立。
(3) ，
但不一定成立。
(4)
5.有关的结论
(1)
(2)
(3) 若可逆，则
(4) 若为阶方阵，则：
6.有关的结论
可逆
可以表示为初等矩阵的乘积；。
7.有关矩阵秩的结论
(1) 秩=行秩=列秩；
(2)
(3) ；
(4)
(5) 初等变换不改变矩阵的秩
(6) 特别若 则：
(7) 若存在 若存在
若 若。
(8) 只有零解
8.分块求逆公式
； ；
；
这里，均为可逆方阵。
向量
1.有关向量组的线性表示
(1)线性相关至少有一个向量可以用其余向量线性表示。
(2)线性无关，，线性相关可以由唯一线性表示。
(3) 可以由线性表示 。
2.有关向量组的线性相关性
(1)部分相关，整体相关；整体无关，部分无关.
(2) ① 个维向量 线性无关， 个维向量线性相关 。
② 个维向量线性相关。
③ 若线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。
3.有关向量组的线性表示
(1) 线性相关至少有一个向量可以用其余向量线性表示。
(2) 线性无关，，线性相关 可以由唯一线性表示。
(3) 可以由线性表示
4.向量组的秩与矩阵的秩之间的关系
设，则的秩与的行列向量组的线性相关性关系为：
(1) 若，则的行向量组线性无关。
(2) 若，则的行向量组线性相关。
(3) 若，则的列向量组线性无关。
(4) 若，则的列向量组线性相关。
5.维向量空间的基变换公式及过渡矩阵
若与是向量空间的两组基，则基变换公式为：
其中是可逆矩阵，称为由基到基的过渡矩阵。
6.坐标变换公式
若向量在基与基的坐标分别是 ，
即： ，则向量坐标变换公式为 或，其中是从基到基的过渡矩阵。
7.向量的内积
8.Schmidt 正交化
若线性无关，则可构造使其两两正交，且仅是的线性组合，再把单位化，记，则是规范正交向量组。其中 ， ， ，
............
9.正交基及规范正交基
向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。
线性方程组
1．克莱姆法则
线性方程组，如果系数行列式，则方程组有唯一解，，其中是把中第列元素换成方程组右端的常数列所得的行列式。
2. 阶矩阵可逆只有零解。总有唯一解，一般地，只有零解。
3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构
(1) 设为矩阵，若，则对而言必有，从而有解。
(2) 设为的解，则当时仍为的解；但当时，则为的解。特别为的解；为的解。
(3) 非齐次线性方程组无解不能由的列向量线性表示。
4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解
(1) 齐次方程组恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是，解空间的一组基称为齐次方程组的基础解系。
(2) 是的基础解系，即：
是的解；
线性无关；
的任一解都可以由线性表出. 是的通解，其中是任意常数。
矩阵的特征值和特征向量
1.矩阵的特征值和特征向量的概念及性质
(1) 设是的一个特征值，则 有一个特征值分别为 且对应特征向量相同（ 例外）。
(2)若为的个特征值，则 ,从而没有特征值。
(3)设为的个特征值，对应特征向量为，
若: ,
则: 。
2.相似变换、相似矩阵的概念及性质
(1) 若，则
，对成立
3.矩阵可相似对角化的充分必要条件
(1)设为阶方阵，则可对角化对每个重根特征值，有
(2) 设可对角化，则由有，从而
(3) 重要结论
若，则.
若，则，其中为关于阶方阵的多项式。
若为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩()
4.实对称矩阵的特征值、特征向量及相似对角阵
(1)相似矩阵：设为两个阶方阵，如果存在一个可逆矩阵，使得成立，则称矩阵与相似，记为。
(2)相似矩阵的性质：如果则有：
（若，均可逆）
（为正整数）
，从而 有相同的特征值
，从而同时可逆或者不可逆
秩秩，不一定相似
二次型
1.个变量的二次齐次函数
，其中，称为元二次型，简称二次型. 若令,这二次型可改写成矩阵向量形式。其中称为二次型矩阵，因为，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵的秩称为二次型的秩。
2.惯性定理，二次型的标准形和规范形
(1) 惯性定理
对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。
(2) 标准形
二次型经过合同变换化为
称为 的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由唯一确定。
(3) 规范形
任一实二次型都可经过合同变换化为规范形，其中为的秩，为正惯性指数，为负惯性指数，且规范型唯一。
3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性
设正定正定；,可逆；，且
，正定正定，但，不一定正定
正定
的各阶顺序主子式全大于零
的所有特征值大于零
的正惯性指数为
存在可逆阵使
存在正交矩阵，使
其中正定正定； 可逆；，且 。
关于本站
往期精彩回顾