周末读书 | 中科院自动化所刘德荣教授团队：自适应动态规划方法的研究进展

Title: Adaptive Dynamic Programming with Applications in Optimal Control

中文：自适应动态规划及其在最优控制中的应用
Authors: 刘德荣、魏庆来、王鼎、杨雄、李宏亮 
Springer's Advances in Industrial Control, 2017
http://www.springer.com/in/book/9783319508139

根据麦肯锡全球研究所的报告，人工智能领域在2016年获得的全球投资总额达到80亿到120亿美元之间，其中机器学习约占投资总额的60％。事实上，机器学习已经在许多行业得到了广泛应用。例如，金融行业利用机器学习来识别和防止欺诈；医疗保健行业采用这种技术来监测各种疾病的演变趋势，以此改善治疗水平；诸如宝马、特斯拉、丰田等汽车制造商也正在大力投资机器学习来开发无人驾驶汽车。这些只是机器学习革新各行业的几个例子。机器学习将是这个时代最重要的技术之一，我们必须加大这方面工作的力度和深度。

自适应动态规划（Adaptive Dynamic Programming, ADP）由美国学者Paul J. Werbos在1977年首次提出，是机器学习的重要分支 – 强化学习算法的理论基石。该方法以最优性原理为基础，融合人工智能的先进方法，模拟人通过环境反馈进行学习的思路，有效地解决了动态规划“维数灾”的问题。近年来，自适应动态规划被认为是一种非常接近人脑智能的自学习最优控制方法，并得到了广泛的关注。本书系统地阐述了自适应动态规划的原理、实现方法以及求解最优控制问题的具体过程，分三个部分介绍自适应动态规划方法在过去几年的研究进展。具体包括：

1. 离散时间非线性系统的自适应动态规划理论和方法；
2. 连续时间非线性系统的自适应动态规划理论和方法；
3. 三个理论联系实际的应用例子。

首先，本书介绍了自适应动态规划的基本原理和迭代自适应动态规划算法的实现过程，并进一步系统地阐述了自适应动态规划的发展历程和相关成果以及本书的内容安排。其次，该书介绍了离散时间非线性系统的自适应动态规划理论和方法，包括值迭代、策略迭代、广义策略迭代等算法，并分析了自适应动态规划方法的稳定性、收敛性与最优性，以及神经网络存在逼近误差情况下的自适应动态规划方法的性能分析方案。然后，该书介绍了连续时间非线性系统的自适应动态规划理论和方法，包括针对系统模型未知、存在不确定项以及含有关联子项的情况，分别建立自适应动态规划方法求解最优控制策略，并进一步分析了稳定性、收敛性、最优性与鲁棒性。最后，该书给出了自适应动态规划在智能微电网和过程控制中的应用，展示了自适应动态规划方法在实际系统中的优化控制效果。

本书由浅入深，系统地介绍了刘德荣教授团队自2010年以来在自适应动态规划领域取得的重要研究成果。尤其值得一提的是，本书包括了强化学习算法的理论分析工作。本书可作为高等学校智能控制、系统工程、人工智能、机器人、应用数学以及仪器科学与技术等专业的研究生或高年级本科生的教材，亦可供相关专业的科研人员和工程技术人员参考。

作者简介：

刘德荣教授

自从2010年1月1日入选“千人计划”以来，刘德荣教授建立了一个研究团队，目前团队每年发表20多篇高水平SCI论文。自1992年起刘德荣教授共出版了18部学术著作、170篇SCI期刊论文、239篇国际会议论文。目前在SCI数据库里面总引用4794次，H-index为39。在GoogleScholar里面总引用10441次，H-index为58。刘德荣教授自1992年以来的主要研究成果总结如下。

(1)早期研究饱和非线性系统，从事非线性系统稳定性方面的研究工作，其成果被国际学术界命名为“Liu-Michel”判据，解决了饱和非线性作用下系统的稳定性问题。

(2)在神经网络方面，开创了递归神经网络的稀疏结构研究工作并成功将成果应用于联想记忆和细胞神经网络。

(3)近10年来，主要从事自适应动态规划理论和应用研究工作，在该领域出版了三本书，100多篇SCI论文，是国际上该研究领域的领军人物之一。自适应动态规划方法跟强化学习是同类方法，是智能控制、优化、信息处理、人工智能和机器学习领域的热点研究方向，近期Google旗下人工智能围棋AlphaGo采用的算法就是强化学习跟深度学习算法的结合。

学科领域

科学学位：控制科学与工程

专业学位：控制工程  

教育背景

1990–1993年，美国圣母大学(University of Notre Dame)，电气工程系，获电气工程博士学位

1984–1987年，中国科学院自动化研究所，获工学硕士学位

1978–1982年，华东工学院 (现南京理工大学)，机电工程系，获工学学士学位

工作经历

1982–1984年，北方工业公司国营向阳仪表厂技术员

1987–1990年，中国科学院研究生院无线电电子学部助教

1993–1995年，美国通用汽车公司研究开发中心Staff Fellow

1995–1999年，美国斯蒂文斯理工学院电气与计算机工程系助教授

1999年开始，美国芝加哥伊利诺伊大学电气与计算机工程系助教授、终身职副教授、2006年起任终身职正教授

2008–2015年，中国科学院自动化研究所研究员、博士生导师

2015–2016年，北京科技大学自动化学院教授、博士生导师

2017–今，广东工业大学自动化学院“百人计划”特聘教授、博士生导师

学术兼职          

2016–2018年，亚太神经网络学会，副主席

2016–2018年，IEEE计算智能学会Distinguished Lecturer

2015–2017年和2006–2008年，IEEE计算智能学会理事（AdCom Member）

2014–今，Artificial Intelligence Review (Springer)，主编

2014–今，IEEE/CAA Journal of Automatica Sinica，副主编

2014–2017年，IFAC理事会成员（CouncilMember）

2013–今，自动化学报，副主编

2012–2014年，IEEE计算智能学会Distinguished Lecturer

2012–2014年，IEEE计算智能学会北京分会主席

2011–今，中国自动化学会常务理事

2011–2015年，亚太神经网络联合会理事（BoG）和2016–今，亚太神经网络学会理事（BoG）

2010–2015年，IEEE Transactions on Neural Networks and Learning Systems，主编

2010–2012年，国际神经网络学会理事（BoG）

2008年起，在24个国际会议上做过大会报告和邀请报告

2005–2008年，IEEE计算智能学会芝加哥分会主席

24th International Conference on Neural Information Processing (ICONIP 2017)，总主席

12th World Congress on Intelligent Control and Automation (WCICA 2016)，总主席

2014 IEEE World Congress on Computational Intelligence (WCCI 2014)，总主席

International Joint Conference on Neural Networks (IJCNN 2008)，程序主席          

主要荣誉    

Fellow，国际模式识别学会（IAPR）2016

Fellow，国际神经网络学会（INNS）2013

Fellow，电气与电子工程学会（IEEE）2005

中国科学院“优秀研究生指导教师”奖，2013

亚太神经网络联合会（APPNA）杰出成就奖，2014

神经信息处理国际大会（ICONIP）最佳论文奖：2015和2013，两次获奖

国家特聘专家（中组部和人社部）2011

国家自然科学基金委“海外杰出青年合作研究基金”，2008  

伊利诺伊大学University Scholar奖，2006

美国国家科学基金会教授早期事业发展奖（NSFCAREER Award）1999  

斯蒂文斯理工学院Harvey N. Davis杰出教学奖，1997

好消息！好消息！

国庆假期期间德先生“求知书店”全场八折！

错过再等一年！

📚往期文章推荐

德先生公众号 ｜ 往期精选

在公众号会话位置回复以下关键词，查看德先生往期文章！

人工智能｜机器崛起｜区块链｜名人堂

虚拟现实｜无人驾驶｜智能制造｜无人机

科研创新｜网络安全｜数据时代｜人机大战

……

更多精彩文章正在赶来，敬请期待！

点击“阅读原文”，移步求知书店，可查阅选购德先生推荐书籍。