不确定性动态系统的估计、控制与博弈
郭雷
（中国科学院数学与系统科学研究院系统控制重点实验室）
摘要：信息技术的快速发展和广泛应用，为科学认识和有效调控现实世界中各类不确定性复杂系统的结构、运行与功能之间关系，提供了前所未有的工具和手段，使系统与控制科学迎来新的发展机遇。未来科学发展离不开现有研究基础及其所提供的借鉴。本文在简要回顾控制理论发展历史的基础上，主要围绕不确定性动态系统的估计、控制和博弈研究中的若干基本科学问题，重点介绍作者研究团队的相关理论进展、研究体会和疑难问题，并给出某些未来展望。本文主要内容集中在下列基本问题的理论和算法基础：经典比例 - 积分 - 微分 (PID) 控制、自适应学习、自适应滤波、自适应控制、反馈机制最大能力、自适应博弈、群体涌现与博弈控制系统等。值得指出，在不确定性动态系统中一般存在各种反馈回路，对其行为的观测数据通常远不满足独立性与平稳性等经典统计假设，这是对其开展理论研究的一个突出特色。
关键词：复杂系统，控制系统，不确定性，反馈机制，PID控制，自适应估计，自适应滤波，自适应控制，自适应博弈，涌现行为，博弈控制系统。
系统是任何事物存在的基本方式。通常认为，系统是由若干组分 (要素或子系统) 通过相互关联和相互作用而形成的具有特定功能的整体。系统科学是研究各类系统的组分、结构、环境与功能之间普适关系，以及演化与调控一般规律的科学[1, 2]。系统结构包括物理结构和信息结构，而信息结构往往包含信息传递和组织运行的众多正负反馈回路。为了研究系统的功能，我们需要理解系统的组织和演化规律、了解并预测系统的结构变化和状态信息、并通过对系统施加适当影响以达到所期望的调控目标。这不仅涉及复杂系统的涌现和演化行为分析，系统的建模、学习、滤波和预测等问题，以及系统能控性、能观性、最优性、稳定性与鲁棒性等基本性质，而且需要设计能够对付大范围不确定性系统的调控规律，理解反馈机制的最大能力和根本局限，并研究具有博弈行为的被控对象的调控问题等。由于实际动态系统的复杂性，任何数学模型都是其近似或逼近，在系统内部结构、模型参数和环境影响等方面，总存在不可忽略但又事先难以估计或预测的不确定性。实际上，不确定性是复杂动态系统的本质特征之一。究竟如何控制一个可能具有大范围不确定性的动态系统？这是控制理论的一个核心问题。为了便于从数学上进行理论研究，我们一般将系统模型中的不确定性描述为参数或函数空间中的一个“球”，而对不确定性系统的控制则定义为对与该“球”内所有参数或函数所对应的动态系统簇的控制。当然，并不是模型中的所有不确定性因素都能体现在我们所感兴趣的系统行为的观测数据中。对能体现者，则有望利用观测数据对其进行估计，而对不能者则说明其对系统行为的观测量没有（本质）影响，因此系统行为关于不确定性因素的“灵敏度” 是个关键变量。进一步，由于系统从结构到功能的多因素耦合性，真正影响系统行为和控制器设计的往往是各种不确定性因素的某种 “组合”（线性或非线性），而如何对这种 “组合”的不确定性信息进行估计和处理则更为必要。概括来讲，目前对不确定性系统控制器的设计方法主要有三类：一是首先利用先验知识和（或）统计数据进行离线建模或学习，然后再设计控制器；二是直接利用闭环系统观测数据来设计反馈控制对付不确定性并使系统性能达到要求；三是两者的适当结合。一般来讲，在实际中成功的控制方法总是基于系统建模与反馈控制的有机结合[3]。反馈是生命系统的核心特征[4]，也是人类行为的根本特点[5]。因此，深入理解反馈机制，对生命和智能系统的研究具有重要意义。此外，反馈是控制论中最核心的概念，也是一条基本的系统学原理，因此自动控制也被认为是第一个系统学科[6]。因为反馈具有对付动态系统各种不确定性的强大能力，历史上反馈原理的有效利用常常对工程技术领域产生革命性影响。18世纪80年代J. Watt发明的蒸汽机中的核心技术“离心式调速器”；20世纪30年代H. S. Black对远距离通讯做出关键贡献的“负反馈放大器”，就是历史上两个著名的例子。对这两类系统稳定性的深入研究，分别从时域和频域两方面推动了经典控制理论的发展。控制论创始人诺伯特 · 维纳 (N. Wiener) 和我国著名科学家钱学森 (H. S. Tsien) 等都对系统、信息、反馈与控制之间的关系有过精辟论述。1948年美国数学家维纳出版的名著《控制论 (cybernetics) : 或关于在动物和机器中控制和通信的科学》[7]，密切围绕“控制与通信”这条主线以及“反馈”这一基本原理，从 “动物智能” 与 “机器智能”的若干重要方面展开对比讨论，并认为 “智能的首要问题是‘学习’”。维纳试图建立控制论的统计理论，但他认为吉布斯 (W. Gibbs) 的统计力学是不能直接用来研究控制系统的，因为 “一个控制系统不是一个孤立的系统，而是一个与周围环境密切联系的系统，特别是控制系统通过自身的反馈机构可以减少系统的‘无组织程度’，因此，在控制系统中经常发生熵减少的过程” [7]。为了建立控制论的统计理论，维纳提出了关于平稳时间序列的预测和滤波理论。维纳指出“正如一个系统中的信息量是它的组织化程度的度量，一个系统的熵就是它的无组织程度的度量：这一个正好是那一个的负数”，并且明确指出“信息就是信息，不是物质也不是能量” [7]。维纳在书中讨论的内容远远超出了传统自动控制范围并被历史证明具有深刻的洞见，对当今包括信息科技与智能系统在内的众多科技领域的发展产生了深远影响。维纳《控制论》的重要影响之一就是钱学森于1954年出版的《工程控制论》[8]，该书将一般性理论和实际工程经验很好地结合为一门新的技术科学，并指出今后的几个研究方向。钱学森认为，控制论“这门新科学的一个非常突出的特点就是完全不考虑能量、热量和效率等因素，可是在其他各门自然科学中这些因素却是十分重要的。控制论所讨论的主要问题是一个系统的各个不同部分之间的相互作用的定性性质，以及整个系统总的运动状态”，并且“工程控制论里面的一个最主要概念就是反馈”。他还认为，“把工程控制论建设成为一门技术科学的好处就是：工程控制论使我们可能有更广阔的眼界用更系统的方法来观察有关问题，因而往往可以得到解决旧问题的更有成效的新方法，而且工程控制论还可能揭示新的以前没有看到过的前景”[8]。钱学森在《工程控制论》（修订版，1980年）序言中，进一步阐述了现代化、技术革命与控制论的关系，指出 “从科学理论的角度来看，20世纪上半叶的三大伟绩是相对论、量子论和控制论”[8]，并指出核能技术革命、计算机技术革命和航天技术革命等“所有这些技术革命都直接与控制论连在一起” [8]。在经典控制论中最著名的反馈控制方法是“比例 – 积分 – 微分 (proportional-integral-derivative, PID) 控制”。这是个具有百年历史的线性反馈控制器[9]，在其发展过程中对控制的系统方法起过重要作用[10]。因为PID控制具有简单性、实用性和鲁棒性等突出的优点，它在现代工程技术系统的控制器设计中一直起主导作用。事实上，“95%以上的工业控制问题是采用PID解决的” [11]，并且迄今为止“仍没有其他控制方法可以与之相比”[12]。由于控制系统是自动化系统的“大脑”，而自动化又是将人类从繁重的体力和脑力劳动中解放出来并推动生产力发展的关键技术之一，因此可以说 “没有PID，就没有现代文明”。此外，PID控制器的影响已经远远超出自动控制领域自身，涉及到科学技术领域中各种各样需要进行反馈调控的系统或对象。尽管人们对PID控制器有大量的研究，并且目前有各种各样的PID软件包、商用PID模块和PID参数整定专利，但是迄今为止人们对PID控制的基础理论和参数设计方法的研究远未成熟，而PID控制自身也难以解决控制变量受约束下多输入多输出动态系统在一般性能指标下的优化控制问题。20世纪60年代前后，诞生了现代控制理论。其主要标志是基于状态空间方程的卡尔曼 (R. E. Kalman)滤波[13]，线性二次最优控制问题的求解与若干基本概念（能控性、能观性、结构分解与最小实现等）的引进和刻画[14, 15]，以及贝尔曼 (R. Bellman) 动态规划[16]和庞特里雅金 (L. S. Pontryagin) 极大值原理[17]等。卡尔曼认为状态空间方法可以看作是牛顿 (Newton) 力学定律的公理化 (axiomatization) ，并说明（在线性情形下）输入输出关系只是决定系统中完全能控与完全能观的那一部分性质[15]。卡尔曼滤波突破了维纳滤波和柯尔莫哥洛夫 (A. N. Kolmogorov) 滤波的局限，使得以递推方式求解（有限维）非平稳过程的滤波成为可能；而贝尔曼和庞特里雅金的工作则分别推广了连续时间Hamilton-Jacobi理论和古典变分学，使得在控制变量受约束情形下，对多输入多输出非线性动态系统在一般性能指标下的最优控制求解，有了一般性数学理论指导。这些标志性理论成果在包括航空航天在内的许多领域都有重要应用。然而，由于这些关于动态过程的优化控制方法需要精确的数学模型，故对多数不确定性复杂系统的实际应用来讲，仍有很大局限性。这促使了后来许多新方向的发展，包括系统辨识、自适应 (adaptive) 控制和鲁棒 (robust) 控制等。2001年IEEE出版社出版了一本论文集[18]，汇聚了1931∼1981年期间发表的25篇有 “重要影响的文章 (seminal papers) ”，部分反映了这半个世纪中从经典自动控制到现代控制理论的重要进展。我国在20世纪自动控制领域的部分进展反映在1999年第14届国际自动控制联合会 (IFAC) 世界大会的大会报告[19]之中。2005年科学出版社出版了《控制理论导论：从基本概念到研究前沿》一书[20]，与通常局限于某一个分支的专著不同，该书对现代控制理论几个主要分支所用的数学工具和发展概貌进行了综合阐述，包括线性系统理论、最优控制理论、H∞控制、非线性控制系统、自适应系统理论、分布参数系统和离散事件动态系统等。进入21世纪之后，信息丰富的世界为控制科学发展带来了新的机遇和挑战[21]，控制理论的研究对象与范围又进一步扩展，其中包括网络控制系统、多个体系统、信息物理系统 (cyber-physical systems)、分布式优化、估计与协同控制等。特别地，控制理论与复杂系统研究的结合成为显著发展趋势。在系统科学中，一个最基本的问题是在什么条件下系统整体功能大于其组成部分功能的简单相加，即所谓 “1+1>2”的涌现问题，这体现了系统组织（自组织或他组织）或集成的重要意义。另一方面，在这个不等式两边同除2可以得到一个形式上的等价“不等式”：“1<1/2+1/2”，其意义可以解释为: 系统经过适当分类或分工后再有机组合所涌现的功能，要大于捆绑在一起 (或 “一刀切”) 时的功能，这体现了系统分类处理或 “逆组织” 的重要意义。这两个“等价但不等义”的“不等式”从两个相反的方向给出了提高系统整体功能的可能途径，例如产业的分工与合作、学科的分化与融合等发展趋势。这当然只是形象的说法，但为复杂系统功能的调控提供了一种不同于反馈机制的基本思路。因为在不确定性复杂动态系统中一般含有各种反馈回路，其观测数据的性质往往是由复杂非线性动力学方程所决定的，因此它们远不满足独立性与平稳性等经典统计假设。在系统与控制研究中，我们无法回避基于这类复杂数据的算法分析和反馈利用，尤其是当学习、通信与控制融合在同一个反馈随机系统中时，这是不确定性动态系统研究的一个突出特色，也是与相关学科研究的一个显著区别。本文将围绕系统与控制中若干基本科学问题，主要介绍作者研究团队的相关研究进展和研究体会，并给出某些未来展望。具体内容贯穿了关于不确定性动态系统估计、控制和博弈的研究，包括下列科学问题的理论和算法基础：经典PID控制、自适应估计、自适应滤波、自适应控制、反馈机制的最大能力和根本局限、自适应博弈、群体系统的涌现、多主体博弈系统控制等。本文部分内容的介绍也可参见作者的综述文章[22]和专著[23, 24]。2.1 特色与现状
众所周知，PID控制是迄今实际系统中应用最广泛的控制器，显示出持久的生命力。PID控制有几个显而易见的特点，可以概括如下； (1) PID是由数据驱动的反馈控制器，不需要被控系统模型结构的具体信息，是典型的 “无模型” 控制器，为实际应用提供了方便；(2) PID是被控系统输出误差的比例、积分和微分这3项的加权线性组合，其中的3个权系数被称为PID控制器参数，因此PID控制器的具体应用只涉及3个参数的调节；(3) PID的比例项主要用来镇定系统，积分项可以消除系统的静态偏差，微分项可以预测未来误差趋势，因此具有一定综合功能；(4) 牛顿第二定律在系统建模中起关键作用，其对应的动力学模型通常为二阶微分方程，而PID控制恰好适合对这类系统进行控制。
PID的上述特点在很大程度上是众所周知的，然而PID控制究竟是否具有收敛性和鲁棒性等良好性能，需要严格的理论研究。进一步，尽管PID控制广泛成功地应用到实际系统中，而几乎所有的实际系统都是非线性和不确定的，但是迄今为止几乎所有PID理论研究都是针对线性系统或局部线性化模型的[25]，并且实际应用中对PID3个参数的选取几乎都依赖经验或实验，包括著名的Ziegler-Nichols方法[26]。因此，PID的基础理论与实际应用之间存在显著鸿沟。
PID控制理论至少应该回答下列3个问题：PID控制在应用中如此成功的基本原理是什么？能否建立PID控制的一般理论基础？控制器中的3个参数究竟如何具体选取？毫无疑问，对这些问题的回答应是控制理论的基本任务，而为了回答这些问题，我们不得不面对一般非线性不确定性系统开展研究。除此之外，由于整定PID控制器中的3个参数一般比较复杂和困难，实际工程系统中多数PID控制回路并不工作在理想状态[27]。因此，对PID理论和方法的深入研究，有助于改进工业系统中PID控制回路的性能，从而有助于提高产品质量[28]。
2.2 理论与设计
正是在上述背景下，最近几年我们开展了针对非线性不确定性系统PID控制的基础理论研究。首先针对由牛顿第二定律所描述的二阶非线性不确定系统，我们利用函数的 “灵敏度” (偏导数) 的上界定义了不确定性函数类，并且给出了三维参数空间的一个无界开集合[29]。可以证明，只要PID控制器的3个参数从这个参数集合里任意选取，那么与不确定函数类所对应的系统簇中任何一个闭环控制系统，都是全局稳定的并且输出误差以指数级速度收敛到零[29, 30]。此外，对两类特殊非线性不确定系统，利用微分方程中的Markus-Yamabe定理等，还给出并严格证明为了使闭环系统簇全局稳定，PID(PD) 控制器的参数所应满足的充分必要条件[29]。这些研究不但建立了PID控制器的稳定性和收敛性理论，给出了控制器参数的具体设计方法，并且严格说明了PID控制器无论对非线性系统的不确定性结构，还是对PID控制器的3个参数选择，都具有大范围的鲁棒性，我们称之为 “双边鲁棒性”。
毫无疑问，如何进一步在上述参数集合中具体选取PID控制器的3个参数以兼顾其他控制性能要求 (如瞬态响应等)，是值得研究的问题。思路之一是考虑与PID控制器有密切联系的自抗扰控制器 (active disturbance rejection control, ADRC) ，它是由作者的同事韩京清研究员于1998年提出的[31, 32]，目前得到越来越广泛的关注和实际应用。ADRC的核心思想是利用 “扩张状态观测器 (extended stateobserver, ESO) ” 来在线估计非线性不确定性动态，并进行动态补偿。这个ESO可以设计为线性的[33]，它被进一步降阶之后[34]，就可以与PID控制器建立起联系。进一步，利用对PID控制建立的理论结果[29, 30]，就可以给出PID具体的参数公式[35]。由此可以发现一个有趣的事实[35]：在PID控制器中如果对3项进行适当组合，则PID控制器可以分解为两部分：一部分可以很好地消除不确定性非线性动态的影响，而另一部分具有对线性二阶系统进行极点配置的功能。
2.3 推广与问题
值得指出的是：(1) 这里给出的PID参数选取方法并不导致大增益控制器，并且无论采用什么办法选取PID参数，只要它们属于我们引进的参数集合，那么所证明的定理就能保证闭环系统簇的收敛性质；(2) 对于相对阶 (relative degree) 大于2的一般仿射非线性不确定性控制系统，在不需要假定全局标准型的情形下，也可以利用扩展PID (extended PID, EPID) 来实现对不确定性系统的控制[36]；(3) 当不确定系统的 “灵敏度” 函数无界时，只要其上界函数已知，也可以建立相应的半全局 (semiglobal) 控制理论结果[36]，对非线性不确定性多个体系统和随机系统也可以建立相应的结果；(4) 仍有许多有意义的问题有待继续研究。例如，进一步推广PID或EPID控制器所对付的不确定性系统类，进一步考虑PID参数的优化选择，研究时滞、饱和与采样等实际因素的影响，以及考虑更一般的优化指标等。此外，如何利用非线性PID的可能优点[32]，以及如何将PID (EPID) 与学习算法和现代控制理论进一步结合等，也值得深入探讨。
... ...
作者简介
Lei GUO was born in 1961. He received his B.S. degree in mathematics from Shandong University in 1982 and Ph.D. degree in control theory from the Chinese Academy of Sciences (CAS) in 1987. He is currently a professor of the Academy of Mathematics and Systems Science, CAS, and serves as the Director of the National Center for Mathematics and Interdisciplinary Sciences, CAS. He is a fellow of IEEE, a member of CAS, a foreign member of the Royal Swedish Academy of Engineering Sciences, and the recipient of the Hendrik W. Bode Lecture Prize from the IEEE Control Systems Society in 2019. His research interests include systems identification, adaptive filtering, adaptive control, adaptive game theory, control of stochastic and nonlinear uncertain systems, feedback capability, systems theory, multi-agent systems, and game-based control systems.
编辑：王茹茹
为满足更多科研工作者的需求，蔻享平台开通了各科研领域的微信交流群。进群请添加微信18019902656（备注您的科研方向）小编拉您入群哟！
蔻享网站www.koushare.com已开通自主上传功能，期待您的分享！
欢迎大家提供各类学术会议或学术报告信息，以便广大科研人员参与交流学习。