【FITEE 2016-2017文章精选】卡尔曼滤波——10个重要而常被忽略的有趣之处
【编者按：即日起，中国工程院院刊《信息与电子工程前沿（英文）》（FITEE）官方微信推出2016-2017精选文章导读。编辑部基于同行评审人意见、主题重要性、文章出版后关注度（包括引用、下载、微信等新媒体推送后口碑）等指标，从2016-2017年出版的270篇文章中选出50篇，在合作出版方Springerlink平台永久开放访问。
这里推出第一篇，来自FITEE编委、“玛丽-居里学者”李天成博士的约稿综述。投稿前，李博士与编辑“君子协定”：编辑部邀请5+审稿人，如果都给好评，就以约稿刊出；有任何一个差评，就算了。最终得到4个意见，均好评——于是有了这篇约稿。】
Tian-cheng Li, Jin-ya Su, Wei Liu, Juan M. Corchado, 2017. Approximate Gaussian conjugacy: parametric recursive filtering under nonlinearity, multimodality, uncertainty, and constraint, and beyond. Frontiers of Information Technology & Electronic Engineering, 18(12):1913-1939.
https://doi.org/10.1631/FITEE.1700379
上世纪60年代卡尔曼滤波器（Kalman filter）的提出，开启了近代动态状态估计研究的大门。过去60年可谓引无数英雄竞折腰，很多重要理论扩展（如Extended KF）、演变（如Unscented KF）乃至替身（如粒子滤波器Particle filter）被提出，在航空航天航海、定位跟踪导航、系统最优控制以及传感器信息融合等诸多应用领域取得了巨大成功。时至今日，卡尔曼滤波器的概念和基本框架已成为时序动态状态估计研究领域入门必修。
关于卡尔曼和他故事，可参见香港城市大学陈关荣教授撰写的一个简短而生动有趣的科学人物传记： http://tcct.amss.ac.cn/sc-journal/2016/201602/20160218.pdf。其中特别提及何毓琦先生（注）首先建议命名为“Kalman filter”。作为该领域先行者和开拓者之一，何先生早期基于贝叶斯框架对卡尔曼滤波器的诠释（如1964年IEEE TAC文章），对卡尔曼滤波器的推广起到了重要作用。
这其中最重要的研究思路（也产生最多重要研究成果）之一，是维持一种递归参数（簇）估计闭环——即通过不断更新几个参数的估计，得到对状态后验概率密度函数的充分统计描述。比如，“从一个高斯（或混合高斯）先验估计概率密度迭代到另一个高斯（或混合高斯）后验估计概率密度”，一个高斯分布只需2个参数（均值和方差）即可充分描述，因此通过对这2个参数的递归估计，就可得到一个高斯后验概率密度的递归估计。本文称之为“近似高斯共轭Approximate Gaussian Conjugacy (AGC)”。这是因为在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布常被称为似然函数的共轭先验。在共轭先验中，最为重要和普遍的一种就是高斯共轭先验，其具有一个重要闭环性质：高斯分布的共轭先验恰是高斯分布，也就是一个高斯先验和一个高斯似然，得到的仍将是高斯（后验）。
然而，若想获得严格的高斯共轭递归，对系统的要求非常苛刻，甚至实际问题中基本不可能满足。正如本文题目显示，高斯共轭递归所面临的挑战包括：（1）系统模型的非线性和多模性；（2）非高斯或者未知复杂噪声；（3）系统约束；等。上述任何一点都可以破坏高斯共轭递归。因此，很多研究的本质是应对这些挑战以近似的维持高斯共轭递归，获得某种次优估计。也就是在严格Gaussian Conjugacy递归不可得情况下实现AGC。这方面产生了大量重要、漂亮的研究成果（如参考文献所列出的200余篇，包括一些经典和近年新进展)，其中很多还在继续推进和发展，同时也有很多优秀综述类文章和专著出现。本文一个重要贡献是总结这些研究的共性本质特点（即提出AGC这一概念），并bla bla…进行分类诠释，补充现有综述不足或缺失的部分。
回顾、总结和分类这些代表主流思想的领域研究成果还不是本文重点。那么，本文的干货是什么呐？以下三个章节也许值得一看：
（一）
第3.2节——Very informativeobservation system（高精观测系统）。本节开头就直表胸臆：Dramatically fast and ever-increasing escalation has been seen oncomputers and sensors including radar, camera, sonar, and so on in the lastseveral decades. It is fair to say, what we have today is totally different tothat when Kalman invented the KF. Either high precision sensors orhigh-dimensional observations due to the joint use of multiple/massive moderatesensors, are supposed to remarkably benefit our estimation by providing veryinformative observation (VIO).
然而，对于精密度更高的系统，很多（甚至绝大多数）滤波器并不能保证滤波精度更高，甚至有时复杂、高级滤波器并不能跑赢简单的直接传感数据推理！这看似有点违背直觉，却是事实。文中表3给出一个广为流传的模型，就是很好的例子——虽然这个模型被不少文章拿来验证所提新滤波器更有效，实际上多数情况只是一个滤波器跑赢另一个，却没有和不采用滤波器的直接数据推理对比。事实却是，无论精度还是计算效率，可能都是几个数量级的差距……
那么，“大数据”时代——传感数据读取频率高、精度高、数据量大，等——经典滤波框架何去何从？
（二）
第7.1节——离散时序滤波基本框架隐马可夫模型（Hidden Markov Model，HMM）的一些局限性作了探讨和思考，其中介绍了一些HMM变种发展，如高阶HMM和确定性HMM（不含转移噪声模型）等在音频建模或混沌系统展现出优势。
本节还重点介绍了一种采用“状态轨迹拟合（连续时间函数）”取代离散HMM的思路，将时序递归滤波问题转化为时序递归拟合优化问题，从而克服HMM诸多苛刻要求，比如不再要求传感数据读取频率均匀及时间域独立性假设（也对数据错位、丢失等不那么敏感），不需要构建状态转移概率方程（因此摆脱机动目标的困扰）。这种思路特别适用于客运飞机、游轮这类运行轨迹平滑的目标状态跟踪问题。对于这类系统，模糊的“平滑轨迹”描述信息往往仅有先验知识（而又极为重要），如何“准确”建模和利用这样稀缺而又模糊的信息，还留有更多研究空间。笔者认为动态状态估计不必受限于HMM，特别是应对传感大数据，聚类、拟合乃至学习等也许能够提供一些全新的思路。
（三）
第7.2节——特别强调了“滤波器计算效率”的重要性。计算效率不是一个独立性能因素，其在现实问题中直接影响滤波器精度等其他性能——这一点是绝大多数滤波器性能评估中忽略了的。一方面，当传感器扫描频率很高、数据充分时（比如高速摄像机），能够利用多少数据，主要取决于滤波器的更新效率。此时，迭代效率高的滤波器可以在同样时间内利用更多传感数据，因此更具优势（即使采用同样的算法设计，也可以得到更高精度）。另一方面，当传感器扫描频率偏低时，运算快和运算慢的滤波器都只能采样同样多数据时，前者仍然可以利用计算优势，进行更多诸如“平滑”计算等改进历史估计，或利用更多历史传感数据，提升当前估计性能！总之，在现实问题中，同样的算法设计，计算效率高的滤波器往往意味着更好的精度预期！
然而，很多研究仅仅将计算效率看作一个单独的滤波器性能指标，忽略上述重要关联。更糟糕的是，当前很多精力投入到设计更复杂的滤波器上，而忽视计算效率，简单认为那是工程师或者硬件问题，不是科学理论问题——科学理论复杂反而可能更容易发表论文。笔者认为这是很糟糕的，因为滤波器的设计终归是要实际应用的。
最后给出贯穿全文各章节的有关滤波估计的10个重要而常被忽略的有趣之处。为保证描述的准确性，在此不做翻译，请参考原文。
10 highlights presented in the paper:
1. CRLB (Cramer-Rao Lower Bound) limits only the variance of unbiased estimators and lower MSE (mean squared error) can be obtained by allowing for a bias in the estimation, while ensuring that the overall estimation error is reduced.
2. The KF (Kalman filter) is conditionally biased with a non-zero process noise realization in the given [deterministic] state sequence and is not an efficient estimator in a conditional sense, even in a linear and Gaussian system.
3. Among all possible distributions of the observation noise ww with a fixed covariance matrix, the CRLB for xx attains its maximum when ww is Gaussian, i.e., the Gaussian scenario is the “worst-case'” for estimating xx.
4. For sufficiently precise measurements, none of the KF variants, including the KF itself, are based on an accurate approximation of the joint density. Conversely, for imprecise measurements all KF variants accurately approximate the joint density, and therefore the posterior density. Differences between the KF variants become evident for moderately precise measurements.
5. While the BCRLB (Bayesian Cramer-Rao Lower Bound) sets a best line (in the sense of MMSE) that any unbiased sequential estimator can at maximum achieve, the O2 (Observation-Only) inference sets the bottom line that any “effective” estimator shall at worst achieve.
6. Many adaptive-model approaches proposed for MTT (manuevering target tracking) may show superiority when the target indeed maneuvers but perform disappointingly or even significantly worse than those without using an adaptive model, when there is actually no maneuver. We call this over-reaction due to adaptability.
7. The theoretically best achievable second order error performance, namely the CRLB, in target state estimation is independent of knowledge (or the lack of it) of the observation noise variance.
8. Robust filtering is much more related to robustness with respect to statistical variations than it is to optimality with respect to a specified statistical model. Typically, the worst case estimation error rather than the MSE needs to be minimized in a robust filter. As a result, robustness is usually achieved by sacrificing the performance in terms of other criteria such as MSE and computing efficiency.
9. The standard structure of recursive filtering is based on infinite impulse response (IIR), namely all the observations prior to the present time have effect on the state estimate at present time and therefore the filter suffers from legacy errors.
10. Computing speed matters!
作者在文末特别感谢了何毓琦先生自2013年暑假以来关于上述章节3.2和7.2部分内容的多次探讨与指导。
--------------------
注：何毓琦，哈佛大学终身教授、美国工程院院士、中国科学院及中国工程院外籍院士，动态系统现代控制理论创导者之一。长期从事系统控制科学及工程应用研究，在最优控制、微分对策、团队论、离散事件动态系统和智能系统等方面做出了重大贡献。
主要作者简介：
李天成，西班牙萨拉曼卡大学科学学院博士后研究员，目前其研究得到欧盟“地平线2020”玛丽-居里学者奖资助。李天成博士近年来先后担任国际信息融合大会FUSION 2015-2018和分布式计算与人工智能大会DCAI 2015-2018 等学术会议“传感数据挖掘和智能信息融合”相关分会召集人，目前担任FITEE和ADCAIJ期刊编委。李天成博士主要研究工作围绕非线性估计、传感网信息融合和多目标跟踪3个方向开展，特别是聚焦于开拓和发展基于大规模、高频速传感网数据挖掘的目标探测、跟踪和预报新理论与新方法。
微信加群
为方便广大科研人员交流讨论，本平台建有以下学科微信群。有需要加群的用户，请加小编个人微信号fitee_xb，并留言要加入的群，小编会拉您进相应的微信讨论群。营销广告人员请勿扰。
计算机科学与技术学术群 | 光学工程与技术学术群 |
控制科学与技术学术群 | 信息与通信学术群 |
电力电子学术群 |
FITEE最新推出官方微信，功能包括：传播FITEE出版的学术文章；为FITEE关联学人（读者、作者、评审人、编委，等）提供便捷服务；发布学术写作、评审、编辑、出版等相关资讯；介绍信息与电子工程领域学术人物、学术思想、学术成果，展示该领域科学研究前沿进展；为该领域海内外学者提供友好互动平台。