【回顾】借鉴师生互动模式来训练机器学习模型

在学校教学模式中，老师扮演着重要的角色。借鉴老师与学生的师生互动模式，香港科技大学在读博士生张鹏博在他的论文 A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+ 中提出一种基于 LUPI 的 random vector functional-link 网络（RVFL+），RVFL + 不需要太多的计算硬件以及时间，优势明显。

在近期 AI 研习社的线上分享会上，张鹏博为我们详细解读了 A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+ 这篇论文，介绍了 RVFL + 和 KRVFL+，以及它们的应用。

分享人：

张鹏博，香港科技大学博士在读，于工程学院工业工程与物流管理系（即统计与运筹学系）从事机器学习的相关研究工作。他的研究兴趣包括机器学习、深度学习、优化、智能系统。 在此之前，他于 2015 年在澳门大学提前获得研究型硕士，并参与优秀毕业答辩，同时担任多个期刊和会议的审稿人。

https://v.qq.com/txp/iframe/player.html?vid=q0554cy8iq0&width=500&height=375&auto=0
▷ 观看完整回顾大概需要  50  分钟

分享内容：

这次为大家带来我最近的研究成果 A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+，主要是分享我的思路，为什么这么做以及具体的应用情况。

我会先介绍这种新型的训练方式 Learning using privileged information(LUPI) 与传统的不同点。然后介绍之前的主要网络 RVLF 以及当前流行的随机性算法，之后会介绍新的两种算法 RVFL + 和 KRVFL+。我也给出了一些实验来验证这个方法的表现，还会为大家带来一些未来的可能应用。

在学习中师生互动模式很重要，Learning using privileged information(LUPI) 是在机器学习中借鉴了这种模式，来训练我们的机器学习模型。

LUPI 第一次提出是在 2009 年的一篇论文里用来训练 SVM，与传统学习模式的不同是在训练阶段，传统的模式由 x_i 和 y_i 组成，x_i 是指训练集中的 feature，y_i 是 label。新型训练方式中训练集中增加了一项，表示额外信息，类似于学习中老师给我们的信息一样。

下面给出了 SVM 和 SVM + 这两种方法的主形式，如果大家熟悉机器学习，那么 SVM 的形式应该会很熟悉，SVM + 与 SVM 的不同是多引入了一个参数，如公式所示。

接下来给大家介绍 Random vector functional-link 网络，它是一种前馈单层的神经网络，于 1992 年提出，示意图如下所示，只有一个隐含层。输入层和输出层直接相连可以有效防止网络过拟合。

为什么 RVFL 网络很简单，但是工作得很好？下图中是一些解释文献。我们希望训练数据中，同类之间角度小，不同的类之间角度大。RVFL 网络是用混合的模式来训练所有网络。

在当今大数据的时代，对于计算的能力要求非常高，这种混合的训练策略计算花费非常便宜，在未来也是研究的热点。

简单介绍几个当前流行的随机方法：前三个 Random projection、Random forests、Bagging 是十多年前提出来的，大家对于这三个并不陌生。我会主要介绍随机神经网络，有兴趣的同学可以看下我在最后列出的参考文献。

接下来为大家介绍新的 RVFL + 方法，RVFL 网络可以写成如下所示：

我们引进了 LUPI 这种新型的训练方式来训练我们的 RVFL 网络：

下一步构建拉格朗日方程，感兴趣的同学可以在论文里看到如何详细的得到输出权重的整个过程。

接下来看一下 RVFL + 的伪码，下面是详细的输入输出。

我们不仅提出了 RVFL+，也提出了它的 kernel 版本——KRVFL+，这是为了更好的处理非线性问题。KRVFL + 相比于 RVFL + 有两个主要的优势，一是不需要考虑增强节点的个数，二是消除了 RVFL + 的不稳定性。

感兴趣的同行可以在我的论文里看到 KRVFL + 的具体方程，在这里就不具体列出来了，简单给大家介绍一下 KRVFL + 的伪码，如下所示，它与 RVFL + 比较相似。

现在分析 RVFL + 的一些统计特征，主要是基于 Rademacher 复杂性。

现在看实验，我们在 14 个数据集上评估了模型的效果，包括 1 个二项分类数据集，8 个多项分类数据集和 5 个回归数据集，今天的讲座里我给大家分享二项分类数据集的实验。

看一下实验结果，可以看到 KRVFL + 可以获得 93.71% 的准确度，训练时间只用了 0.005s，在所有模型里面是最快的。RVFL + 虽然相比高斯 kernel 的准确度不高，但相比线性 kernel 还是有很明显的优势。RVFL + 不需要太多的计算硬件以及时间。

RVFL + 和 KRVFL + 有如下实际应用，后期大家可以进行相关探索。 

在此提出感谢：

我的引用文献如下：

论文地址：https://arxiv.org/abs/1708.08282

新人福利

关注 AI 研习社（okweiwu），回复  1  领取

【超过 1000G 神经网络 / AI / 大数据，教程，论文】

Kaggle 机器学习之模型融合（stacking）心得

▼▼▼