查看原文
其他

118页PPT!机器学习模型参数与优化那些事儿~

汪荣贵 中国图象图形学报 2022-07-02
专家讲堂

——重点高校一线教授倾情奉献

——聚焦机器学习等热点学科

——入门级基础理论和关键技术

——内容超级丰富的PPT讲义

——全面系统理清学科脉络


机器学习是一门关于训练学习算法设计理论与应用技术的学问,涉及微积分、数理逻辑、数理统计、矩阵计算、图论等数学知识,以及众多最优化理论与方法,为广大初学者掌握机器学习知识带来一定困难。


为了方便广大初学者快速、系统地掌握机器学习知识,图图推出“专家讲堂”栏目,本期内容将聚焦模型参数估计和优化内容,机器学习初学者不要错过哦!


往期推荐阅读

专家开讲 | 机器学习究竟是什么?


机器学习随着人工智能的产生迅速发展,目前已形成一个非常庞大且正在快速延伸发展的知识体系,众多学习算法更是精彩纷呈、目不暇接。

在这些数不胜数的机器学习算法中,模型求解的本质是什么?如何优化模型得到更好的结果?


模型求解的本质


机器学习模型的输入输出规则在本质上可以看成某种映射函数,它们通常包含一组待定的未知参数,需要通过训练样本的学习来确定这些参数的合理取值。因此,机器学习中有一大类模型的求解过程实际上是解决这些未知参数的取值问题。


一般地,我们会使用对目标函数优化计算的方式获得参数取值。

模型求解和优化


如果初始模型较为简单,则模型求解的目标函数通常也较为简单。比如目标函数为线性函数的情形,可用单纯形法等常用线性规划方法获得精确解,实现对所求优化模型的精确构造。


然而,用于机器学习模型优化的目标函数主要是非线性函数或约束条件中含有非线性函数,通常称这类优化计算问题为非线性规划问题


目前还没有针对此类优化计算问题的通用精确解法,通常使用具有针对性的近似计算方法进行模型参数求解,构造具有一定精度的近似优化模型。

对于比较简单的非线性目标函数,通常使用参数估计方式直接对模型参数进行近似估计。


对于较为复杂的非线性目标函数,直接对其进行参数估计一般难以取得满意的效果,此时通常使用迭代计算或动态规划方式逐步优化模型参数估计值,使得模型性能得到逐步提升并达到最优或近似最优。


此外,还需采用一些特定策略对模型做正则化处理尽量消除模型中可能存在的过拟合现象。


接下来,让我们用118页PPT系统地介绍模型构建与优化的基本方法。



延伸阅读


洪施展, 曹铁勇, 方正, 项圣凯. 稀疏深度特征对传统显著性检测的优化[J]. 中国图象图形学报, 2019, 24(9): 1493-1503

曾军英, 谌瑶, 秦传波, 甘俊英, 翟懿奎, 冯武林. 级联优化CNN的手指静脉图像质量评估[J]. 中国图象图形学报, 2019, 24(6): 902-913

石亮, 那天, 宋晓宁, 朱玉全. 利用CNN和PCA约束优化模型实现稀疏表示分类[J]. 中国图象图形学报, 2019, 24(4): 503-512

姚拓中, 左文辉, 安鹏, 宋加涛. 融合语义先验和渐进式深度优化的宽基线3维场景重建[J]. 中国图象图形学报, 2019, 24(4): 603-614

刘天, 张磊, 黄华. 即时全变差优化的低延时视频稳像方法[J]. 中国图象图形学报, 2018, 23(2): 293-302

蒋沅, 苗生伟, 罗华柱, 沈培. Lp范数压缩感知图像重建优化算法[J]. 中国图象图形学报, 2017, 22(4): 435-442


专家介绍



汪荣贵,合肥工业大学计算机与信息学院教授,主要研究方向智能视频处理与分析、车载视觉增强系统、多媒体技术等。E-mail: wangrgui@hfut.edu.cn

参考教材: 《机器学习及其应用》,汪荣贵等编著,2019年8月第1版(京东、淘宝、当当均有售)

点击购买


发福利啦

扫描下方二维码联系学报编辑

获取报告PPT



编辑推荐




本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

本公号将持续推出机器学习的系列资料和课件

欢迎大家关注!


编辑:韩小荷

指导/审核:梧桐君


声  明


欢迎转发本号原创内容,任何形式的媒体或机构未经授权,不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流,内容为作者观点,不代表本号立场。未经允许,请勿二次转载。如涉及文字、图片等内容、版权和其他问题,请于文章发出20日内联系本号,我们将第一时间处理。《中国图象图形学报》拥有最终解释权。


前沿丨观点丨资讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号


在看点这里


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存