【干货书】无穷维统计模型的数学基础，705页pdf

在非参数和高维统计模型中，经典的高斯-费舍尔-勒卡姆关于最大似然度和贝叶斯后验推断的最优性理论并不适用，过去的几十年里已经发展出了新的基础和理念。这本书对无限维参数空间中的统计理论提供了一个连贯的描述。数学基础包括对高斯过程和经验过程理论、近似与小波理论以及函数空间基础理论的自足的"迷你课程"。在此模型中的统计推断理论 - 假设检验、估计和置信区间 - 随后在决策理论的最小最大原则中被呈现。这包括卷积核和投影估计的基本理论，以及贝叶斯非参数和非参数最大似然估计。在最后一章中，开发了非参数模型中的自适应推断理论，包括Lepski的方法、小波阈值设定和自相似函数的自适应置信区域。

原则上，本书的所有章节都可以独立阅读。特别地，关于高斯和经验过程的章节，以及关于函数空间和近似理论的章节，大部分是自成体系的。主要对“统计章节”（第5章至第8章）感兴趣的读者可以选择先阅读这些章节，然后在需要时再回过头来阅读第2章至第4章中所阐述的数学基础。以下的段落简要描述了每一章的内容：

第1章介绍本书研究的统计模型类型。特别地，我们将讨论为什么许多常见的“常规”回归模型，带有正态分布的误差项，可以在一个称为高斯白噪声模型的高斯函数估计问题中得到数学上的容纳。

第2章和第3章为随后的统计理论奠定了概率基础：一个章节关于高斯过程，一个关于经验过程。高斯理论主要是经典的，主要介绍与统计相关的材料，例如高斯测度的等周不等式及其对浓度的影响，以及高斯过程的最大值的研究。对于经验测度的理论反映了关于浓度现象的近期显著发展。实际上，这里，统计学中的中心极限定理的经典角色被产品测度的非渐近浓度性质所取代，正如Talagrand、Ledoux、Massart等人的基本工作中所揭示的。这被抽象的经验过程理论所补充，包括度量熵方法、Vapnik-Cervonenkis类和均匀中心极限定理。

第4章从第一原则出发，发展了近似理论及其功能分析基础的一些关键方面。特别地，我们给出了小波理论和Besov空间的描述，重点关注在后续章节中相关的结果。

第5章介绍了在非参数统计中常用的基于卷积核和有限维投影算子的基本线性估计技术。从第3章和第4章中得到的工具被用来推导关于这些估计量的各种概率结果，这在后续中将是有用的。

第6章介绍了一个理论范例——最小最大范例——可以用来客观地测量非参数模型中统计方法的性能。背后的基本信息论思想被发展出来，并展示了如何从最小最大的角度分析和比较统计推断程序——估计量、测试和置信区间。对于各种常见的非参数模型，使用前面章节的结果给出了最小最大最优程序的具体构造。

第7章展示了，如果小心地使用先验信息，似然函数仍然可以在某些非参数问题中作为一个成功的指导原则。这可以通过在统计模型上施加某些定性约束或者正式采用一个可以从频率论者的角度分析的贝叶斯方法来完成。在这一理论中Hellinger距离的关键作用（如Le Cam、Birge、van de Geer、van der Vaart等人的工作中所指出的）被详细描述。

第8章呈现了由最小最大范例引起的非参数自适应问题的解决方案，并给出了对“全自动”统计过程的统计推断理论，这些过程在最大的非参数统计模型集合上表现良好。当考虑自适应估计过程的存在与相关的自适应置信集的存在时，会显示出令人惊讶的差异。通过考虑某些“自相似”函数的非参数模型，可以解决这种差异，这些模型被详细讨论，并且可以为其开发统计推断的统一最优理论。

每章都分为几个部分，每章结尾都有历史注释来补充每个部分——这些决不是详尽的，只是表示我们对文献的理解。

每个部分的结尾都提供了练习题：同样地，这些练习题补充了文本的主要结果，并经常指出所呈现的材料的有趣的应用或扩展。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复或发消息“M705” 就可以获取《【干货书】无穷维统计模型的数学基础，705页pdf》专知下载链接

点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料