是分布的平均值。要注意的是，在正态分布中，均值、众数和中位数都是相等的。当我们绘制正态分布的随机变量时，曲线围绕均值对称——一半的值在中心的左侧，一半在中心的右侧。并且，曲线下的总面积为

作者：刘建平Pinard链接：https://www.cnblogs.com/pinard/p/6047802.html编辑：石头在学习机器学习算法的过程中，我们经常需要数据来验证算法，调试参数。但是找到一组十分合适某种特定算法类型的数据样本却不那么容易。还好numpy,

数之间也有个比例关系，这也很容易理解，只要把模型想象成数据的压缩版本就行了，压缩比总是有极限的。模型的参数量太小，就吃不下训练数据里面所有的知识；模型的参数量如果大于训练数据的

【导读】大家好，我是泳鱼。一个乐于探索和分享AI知识的码农！机器学习和深度学习中的模型都是遵循数学函数的方式创建的。从数据分析到预测建模，一般情况下都会有数学原理的支撑，比如：欧几里得距离用于检测聚类中的聚类。傅里叶变换是一种众将函数从一个域转换到另一个域的数学方法，它也可以应用于深度学习。本文将讨论傅里叶变换，以及如何将其用于深度学习领域。什么是傅里叶变换？在数学中，变换技术用于将函数映射到与其原始函数空间不同的函数空间。傅里叶变换时也是一种变换技术，它可以将函数从时域空间转换到频域空间。例如以音频波为例，傅里叶变换可以根据其音符的音量和频率来表示它。我们可以说，任何函数的傅里叶变换所执行的变换都是频率的函数。其中结果函数的大小是原始函数所包含的频率的表示。让我们举一个信号的例子，它的时域函数如下所示：在同一时间范围内获取另一个信号的一部分将这两个信号的称为

来源：Python数据科学本文约7200字，建议阅读14分钟在本文中，我们将研究Transformer模型，理解它的工作原理。1.导语谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了SOTA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。在本文中，我们将研究Transformer模型，理解它的工作原理。出处：https://blog.csdn.net/longxinchen_ml/article/details/86533005原作者：Jay

量子位作者

Numpy是Python做数据分析所必须要掌握的基础库之一，以下题是github上的开源项目，主要为了检测你的Numpy能力，同时对你的学习作为一个补充。1.

本文分享了机器学习概念，学习路线和知识体系，希望帮助大家更好地入门机器学习。Part

来源：大数据文摘嵌入（embedding）是机器学习中最迷人的想法之一。如果你曾经使用Siri、Google

来源丨https://github.com/rougier/numpy-100于Numpy，我讲的不多，因为和Pandas相比，他距离日常的数据处理更“远”一些。但是，Numpy仍然是Python做数据分析所必须要掌握的基础库之一，以下题是github上的开源项目，主要为了检测你的Numpy能力，同时对你的学习作为一个补充。1.

pass树定义代码框架，主要包括树的基本属性和方法。基本属性包括根结点、最小划分样本数、最大深度和是否为叶子结点等等。基本方法包括决策树构建、决策树拟合、决策树预测和打印等方法。class

distance）表示样本间的距离。不同的距离度量会影响簇类的形状，因为样本距离因距离度量的不同而不同，如点（1.1）和（0,0）的曼哈顿距离是2，欧式距离是sqrt(2)，切比雪夫距离是1。3.

noise=.05)plt.scatter(noisy_circles[0][:,0],noisy_circles[0][:,1],marker='.')plt.title("non-convex

非监督学习与监督学习最重要的区别在于训练数据是否包含标记数据，在机器学习开发的工作中，往往包含了大量的无标记数据和少量的标记数据，非监督方法通过对无标记训练样本的学习来发掘数据的内在规律，为进一步的数据分析提供基础。聚类算法是非监督学习最常用的一种方法，性能度量是衡量学习模型优劣的指标，也可作为优化学习模型的目标函数。聚类性能度量根据训练数据是否包含标记数据分为两类，一类是将聚类结果与标记数据进行比较，称为“外部指标”；另一类是直接分析聚类结果，称为内部指标。本文对这两类的性能度量以及相似度方法作一个详细总结。目录1.

Gain表示单节点obj*与切分后的两个节点的树obj*之差，遍历所有特征的切分点，找到最大Gain的切分点即是最佳分裂点，根据这种方法继续切分节点，得到CART树。若

决策树运用基尼指数来计算模型的损失函数，决策树生成阶段是最小化模型的损失函数，最大化决策树的深度；决策树剪枝阶段是采用正则化的损失函数来完成，最后通过交叉验证法选择最佳子树；

集成学习的Boosting算法串行生成多个弱学习器并按一定的结合策略生成强学习器，AdaBoost算法是Boosting系列算法中的一种，本文详细总结了AdaBoost算法的相关理论。

推荐算法是目前业界非常火的一种算法，在电商界，如亚马逊，天猫，京东等得到了广泛的运用。推荐算法的主要特征就是可以自动向用户推荐他们最感兴趣的东西，从而增加购买率，提升效益。推荐算法有两个主要的类别：

随机森林是基于bagging框架的决策树模型，因此随机森林的参数择优包括两部分：（1）RF框架的参数择优；（2）RF决策树的参数择优。因此，理解RF框架参数和决策树参数的含义是模型参数择优的前提。

任职于深圳一家智能医疗企业，担任高级算法工程师，有扎实的数学理论功底，专注于机器学习算法理论和实践，欢迎机器学习爱好者和从业者的加入，互相学习，共同成长

Bagging和Boosting方法都是把若干个学习器整合为一个学习器的方法，Bagging方法可以降低模型的方差，Boosting方法可以降低模型的偏差，在实际工作中，因情况需要选择集成方法。

任职于深圳一家智能医疗企业，担任高级算法工程师，有扎实的数学理论功底，专注于机器学习算法理论和实践，欢迎机器学习爱好者和从业者的加入，互相学习，共同成长

https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC

支持向量机求解最优化参数的过程中需要用到拉格朗日乘子法和KKT条件，本文用清晰易懂的图解法说明拉格朗日乘子法和KKT条件的含义，希望能够帮助你理解这种最优化思想。

d2表达式就是函数间隔的定义，有两层含义：大小表示点P0到超平面的距离，正负表示点P0是否正确分类，若d0)，由上节定义可知，几何间隔是点到超平面最短的距离，如下图的红色直线：

感知机算法有两个点需要引起重视：（1）感知机算法用点到平面的距离作为损失函数，稍微修改下就和支持向量机一样。（2）感知机算法可以写成对偶形式，所以也能通过核函数实现非线性分类。

线性回归可以理解成训练目标值的权值相加，权值与核函数成正比，若输入特征与某一训练样本的特征相似度越高，相应的核函数越大，则对应的权值就越大，该训练样本的目标变量对预测目标变量的影响亦越大。

结论：曲面中点的方向导数有无数个，当方向导数与梯度方向一致时，该导数值取得最大，等价于该点在梯度方向具有最快的变化值。梯度方向是函数值增加最快的方向，梯度的反方向是函数值减小最快的方向。

由第二节分析可知，假设类条件概率分布的协方差相同，则logistic模型的决策边界函数是随x线性变化的直线，因此，感知机模型与logistic模型的分类策略一样，即决策边界函数是一样的。如下图。

拓展到分类思想：平面方程为决策方程，正确分类的情况下，当点P到决策方程的距离越大，则分类模型越好；错误分类的情况下，点P到决策方程的距离作为损失函数，损失函数最小化过程即是模型参数最优化过程。

由上式可知，当λ等于0时，无先验分布，参数等于最大似然函数对应的模型参数，模型复杂度达到最大。当λ增大时，参数的分量变小，若λ足够大，则参数的某些分量等于0，因此正则项参数的作用是调节模型的复杂度。

如上图含L1正则项的损失函数，蓝色线为损失函数，红色线为L1正则项包含的区域。当处于交点时，含正则项的损失函数最小。由图可知该交点的w2为0，则模型参数个数较少了，相应的模型复杂度降低了。

任职于深圳一家智能医疗企业，担任高级算法工程师，有扎实的数学理论功底，专注于机器学习算法理论和实践，欢迎机器学习爱好者和从业者的加入，互相学习，共同成长

当线性回归的系数向量间差异比较大时，则大概率设计的模型处于过拟合了。用数学角度去考虑，若某个系数很大，对于相差很近的x值，结果会有较大的差异，这是较明显的过拟合现象。

后验分布等于先验分布与似然函数乘积的标准化，共轭先验的目的在于使先验分布和后验分布保持同一形式，形成先验链，当有新的观测数据时，当前的分布成为先验分布，重新计算参数的后验分布。

由（2）可知，选择红色盒子概率为0.4，该概率为先验概率；当观测数据为橘子时，选择红色盒子的概率变成0.67，该概率为后验概率。再次证明了贝叶斯估计模型的概率是随着观测数据的变化而变化的。

如上图所示，左图表示100组数据集的拟合情况，可评估模型的方差。右图是对左图100组数据集每点求平均后的数据拟合情况，绿线表示理论模型，红线表示数据集平均后的结果，可评估模型的偏差。

ROC曲线在均等代价（分类错误的损失代价相同）的前提下反映学习模型的泛化能力，“代价曲线”是在非均等代价的前提下反映学习模型的期望总体代价。期望总体代价越小，则模型的泛化能力越强。

AUC的计算表达式理解起来有点别扭，假设正负样本数均为m例，大家回想下ROC曲线的算法思想，假正例率对应的是真实负样本中分类结果为正样本的比例，真正例率对应的是真实正样本中分类为正样本的比例。

模型性能评估即评估模型的泛化能力，本节介绍四种性能评估方法，分别为错误率与精度评估方法、P-R曲线评估法，ROC曲线评估法以及代价曲线评估法，根据实际应用的侧重点选择性能评估方法。

我们希望评估的是用原始数据集D训练出的模型，但是留出法和交叉验证法训练的数据集比原始的数据集D小，这必然会引入因训练数据集不同导致的估计偏差，留一法受训练样本规模变化的影响较小，但是计算复杂度太高。