“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—康斯坦丁地址：https://zhuanlan.zhihu.com/p/573385147看了知乎上很多讲交叉熵的文章，感觉都是拾人牙慧，又不得要领。还是分享一下自己的理解，如果看完这篇文章你还不懂这俩概念就来掐死我吧。先翻译翻译，什么叫惊喜我们用

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：medium编译：Dali@iNFTnews.com我敢肯定，我们中的任何人都将知道“元宇宙”这个关键词。在2021年，元宇宙已经成为继NFT、GameFi等之后加密货币新的大趋势。在马克·扎克伯格（Mark

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：人人都是极客CPU

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：新智元「人工智能」一词，首次在1956年达特茅斯会议上，由约翰麦卡锡等人正式提出。实用AI地提出，最早可以追溯到1914年。当时Leonardo

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—devyitian地址：https://zhuanlan.zhihu.com/p/82829880大家好，我是小飞，今天讲解下机器学习中常用到的一种搜索算法beam

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—金琴地址：https://zhuanlan.zhihu.com/p/586914091在多模态领域，图片/视频描述生成是一类经典的任务，致力于让机器像人一样能用自然语言去描述视觉内容。然而，所谓“一图胜千言”，我们可以有无数种方式/角度去描述同一张图片，而视频比图片多一个时域维度，包含的视觉信息就更加丰富和复杂。由此，衍生出了一个新的任务分支“可控的图像/视频描述生成”，即给定一种控制信号，更有目的地去描述图片或者视频，更好满足实际需求。作者简介姚林丽，硕士三年级，来自中国人民大学信息学院AI.M3实验室，研究方向为视觉-文本理解与生成。杨丁一，博士二年级，来自中国人民大学信息学院AI.M3实验室，研究方向为风格化跨模态文本生成。1.

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—中森地址：https://zhuanlan.zhihu.com/p/582880086这篇文章主要比较一下扩散模型的引导生成的三种做法的区别。它们分别是用显式分类器引导生成的做法，用隐式无分类器引导的做法和用

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—中森地址：https://zhuanlan.zhihu.com/p/5589372471.

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：OneFlow

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—翻滚的烤红薯地址：https://zhuanlan.zhihu.com/p/563251058原文：https://www.lamda.nju.edu.cn/publication/chap_ABL.pdf这篇文章是作为Neuro-Symbolic

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：专知预训练模型主要从海量未标注、无结构化的数据中学习，但缺少外部知识指导，存在模型学习效率不高、模型效果不佳和知识推理能力

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：CV技术指南Softmax

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—五楼地址：https://www.zhihu.com/question/52782960/answer/133724696说一个近年来神经网络方面澄清的一个误解。BP算法自八十年代发明以来，一直是神经网络优化的最基本的方法。神经网络普遍都是很难优化的，尤其是当中间隐含层神经元的个数较多或者隐含层层数较多的时候。长期以来，人们普遍认为，这是因为较大的神经网络中包含很多局部极小值（local

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。作者

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—龟壳地址：https://zhuanlan.zhihu.com/p/558814956论文：https://arxiv.org/abs/2207.14096摘要随着深度卷积神经网络的兴起，目标检测在过去几年取得了显著的进展。然而，这样的繁荣并不能掩盖小目标检测(SOD)不理想的情况，这是计算机视觉中最具挑战性的任务之一，因为小目标的内在结构导致视觉外观差和噪声表示。此外，大规模数据集对小目标检测方法的基准测试仍然是一个瓶颈。在本文中，我们首先对小目标检测进行了全面的综述。然后，为了促进SOD的发展，我们构建了两个大型小目标检测数据集SODA

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：宅码赵越博士的异常检测库Python

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—王云鹤地址：https://zhuanlan.zhihu.com/p/580745171三问大模型，AI的路在何方近日内部有关大模型的讨论比较多，也组织了几次内部的分析和研讨，有赞同、有批判、有质疑、有期许，抱着略懂的心态，本着“胡说八道”的精神，借着弹窗的周末时间，谈谈对大模型的一些看法。想到哪里就写到哪里，比较细碎，由于胡说八道所以就以字为主，方便讨论，省流的话直接看加粗字体部分。2022年11月5日1.

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—Kevin

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：机器学习研习院回归分析为许多机器学习算法提供了坚实的基础。在这篇文章中，我们将总结

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—许志钦地址：https://zhuanlan.zhihu.com/p/571517635作者注记我是2017年11月开始接触深度学习，至今刚好五年。2019年10月入职上海交大，至今三年，刚好第一阶段考核。2022年8月19号，我在第一届中国机器学习与科学应用大会做大会报告，总结这五年的研究以及展望未来的方向。本文是该报告里关于理论方面的研究总结（做了一点扩展）。报告视频链接可以见：https://www.bilibili.com/video/BV1eB4y1z7tL/我理解的深度学习我原本是研究计算神经科学的，研究的内容，宏观来讲是从数学的角度理解大脑工作的原理，具体来说，我的研究是处理高维的神经元网络产生的脉冲数据，尝试去理解这些信号是如何处理输入的信号。但大脑过于复杂，维度也过于高，我们普通大脑有一千亿左右个神经元，每个神经元还和成千上万个其它神经元有信号传递，我对处理这类数据并没有太多信心，那阶段也刚好读到一篇文章，大意是把现阶段计算神经科学的研究方法用来研究计算机的芯片，结论是这些方法并不能帮助我们理解芯片的工作原理。另一个让我觉得非常难受的地方是我们不仅对大脑了解很少，还非常难以获得大脑的数据。于是，我们当时思考，能否寻找一个简单的网络模型，能够实现复杂的功能，同时我们对它的理解也很少的例子，我们通过研究它来启发我们对大脑的研究。当时是2017年底，深度学习已经非常流行，特别是我的同学已经接触深度学习一段时间，所以我们迅速了解到深度学习。其结构和训练看起来足够简单，但能力不凡，而且与其相关的理论正处在萌芽阶段。因此，我进入深度学习的第一个想法是把它当作研究大脑的简单模型。显然，在这种“类脑研究”的定位下，我们关心的是深度学习的基础研究。这里，我想区分深度学习的“理论”和“基础研究”。我认为“理论”给人一种全是公式和证明的感觉。而“基础研究”的范围听起来会更广阔一些，它不仅可以包括“理论”，还可以是一些重要的现象，直观的解释，定律，经验原则等等。这种区分只是一种感性的区分，实际上，我们在谈论它们的时候，并不真正做这么细致的区分。尽管是以深度学习为模型，来研究大脑为何会有如此复杂的学习能力，但大脑和深度学习还是有明显的差异。而我从知识储备、能力和时间上来看，都很难同时在这两个目前看起来距离仍然很大的领域同时深入。于是我选择全面转向深度学习，研究的问题是，深度学习作为一个算法，它有什么样的特征。“没有免费的午餐”的定理告诉我们，当考虑所有可能的数据集的平均性能时，所有算法都是等价的，也就是没有哪一种算法是万能的。我们需要厘清深度学习这类算法适用于什么数据，以及不适用于什么数据。事实上，深度学习理论并不是处于萌芽阶段，从上世纪中叶，它刚开始发展的时候，相关的理论就已经开始了，也有过一些重要的结果，但整体上来说，它仍然处于初级阶段。对我而言，这更是一个非常困难的问题。于是，我转而把深度学习当作一种“玩具”，通过调整各类超参数和不同的任务，观察它会产生哪些“自然现象”。设定的目标也不再高大上，而是有趣即可，发现有趣的现象，然后解释它，也许还可以用它来指导实际应用。在上面这些认识下，我们从深度神经网络训练中的一些有趣的现象开始。于我个人，我是从头开始学习写python和tensorflow，更具体是，从网上找了几份代码，边抄边理解。神经网络真的很复杂吗？在传统的学习理论中，模型的参数量是指示模型复杂程度很重要的一个指标。当模型的复杂度增加时，模型拟合训练数据的能力会增强，但也会带来在测试集上过拟合的问题。冯·诺依曼曾经说过一句著名的话，给我四个参数，我能拟合一头大象，五个参数可以让大象的鼻子动起来。因此，传统建模相关的研究人员在使用神经网络时，经常会计算模型参数量，以及为了避免过拟合，刻意用参数少的网络。然而，今天神经网络能够大获成功，一个重要的原因正是使用了超大规模的网络。网络的参数数量往往远大于样本的数量，但却不像传统学习理论所预言的那样过拟合。这便是这些年受到极大关注的泛化迷团。实际上，在1995年，Leo

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—Mr.Jian地址：https://zhuanlan.zhihu.com/p/563196861（纯工程经验）本篇不讲任何正负样本定义的方法，以及各种采样的方法，只从实际训练角度思考正负样本背后的本质问题。1.

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：专知地址：https://arxiv.org/pdf/2209.14930v1.pdf图被广泛用于复杂系统的建模，检测图中的异常是复杂系统分析中的一项重要任务。图异常是指图中的模式不符合图的属性和/或结构所期望的正常模式。近年来，图神经网络(GNNs)得到了广泛的研究，并成功地完成了节点分类、链接预测和图分类等困难的机器学习任务，这得益于在有效学习图表示中通过消息传递实现的高度表达能力。为了解决图异常检测问题，基于GNN的方法利用关于图属性(或特征)和/或结构的信息来学习对异常进行适当的评分。在这篇综述中，我们回顾了使用GNN模型检测图异常的最新进展。具体而言，我们根据图类型(即静态和动态)、异常类型(即节点、边、子图和全图)和网络架构(如图自动编码器、图卷积网络)对基于GNN的方法进行了总结。据我们所知，这次综述是第一次全面回顾基于GNN的图异常检测方法。图形是一种有效的数据结构，可以有效地表示和提取复杂的数据模式，广泛应用于社交媒体、电子商务、生物学、学术和通信等众多领域。图中表示的数据对象是相互关联的，对象通常表示为节点，它们的关系表示为节点之间的边。图的结构指的是节点如何通过单独的边相互关联，并且可以有效地表示节点之间甚至深远的关系。此外，通过使用节点和/或边的属性来增强图的结构表示，图可以在语义上得到丰富。异常检测是识别明显偏离通常观察到的模式的异常模式的过程。这是一项重要的任务，因为在各个领域的需求和应用不断增加。自从Grubbs等人[1]首次引入异常(或离群值)的概念以来，人们对异常检测进行了大量的研究。此后，随着近年来图挖掘技术的发展，图异常检测备受关注[2]，[3]。图异常检测的早期工作很大程度上依赖于领域知识和统计方法，其中检测异常的特征大多是手工制作的。这种手工制作的检测任务自然非常耗时和费力。此外，真实的图通常包含大量的节点和标记有大量属性的边，因此是大规模和高维的。为了克服早期工作的局限性，最近深度学习方法在从图[4]中检测异常时受到了相当多的关注。深度学习具有非线性的多层结构，可以对大规模高维数据进行检测，并从数据中提取模式，从而获得令人满意的性能，而无需手工制作特征[5]、[6]。最近，图神经网络(GNN)通过学习图表示(例如[7]，[8])中的消息传递机制具有高度的表达能力，因此被用于高效、直观地检测图中的异常。使用GNN，从图中学习和提取异常模式，即使是那些具有高度复杂结构或属性的图，也相对简单，因为GNN本身处理的图具有属性作为输入数据[9]。最先进的图异常检测方法[7]、[10]将GNN与现有的深度学习方法相结合，其中GNN捕获图的特征，而深度学习捕获其他类型的信息(如时间)。图1给出了用GNN进行图异常检测的一个例子。假设节点(A)和(C)根据节点属性被检测到异常，节点(A)和(B)根据图拓扑被检测到异常。那么，如果同时考虑节点属性和图拓扑作为异常因素，则只检测到节点(A)异常。GNN模型使我们能够通过同时检查图拓扑和节点属性来检测这种异常。在本综述中，我们概述了基于GNN的图异常检测方法，并主要从图的类型(即静态图和动态图)进行了综述。与其他调研相关的话题——图异常检测(一般)[2],[3],图像异常检测具体使用深度学习[11],[12],和一般的异常检测使用深度学习[13],[14],本调研旨在涉及的独特角度图使用GNN异常检测模型。鉴于GNN在图异常检测中的重要意义和正在进行的积极研究工作，我们相信，对这一特定主题的全面调研是及时的，对研究社区是有益的。图2为调研方法的时间轴。第三节中的调研是根据其他图异常检测调研[3]、[2]、[11]、[12]所使用的分类框架组织的。这一领域仍然是新的，尽管研究主题的分布似乎倾向于静态图中的节点异常，但已发表的方法覆盖了广泛的图(静态与动态、普通与属性)和异常类型(结构、节点、边、子图)。此外，在第四节中，我们分享了关于使用GNN进行图异常检测的几个有前途的机遇和挑战的观点。基于GNN的图异常检测A.基于GNN的静态图异常检测静态图异常检测的大部分研究都是针对节点异常，只有少数研究是针对边缘异常和子图异常。1)

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：CVer链接：https://arxiv.org/abs/2205.10468https://github.com/VLISLAB/360-DL-Survey本综述来自于香港科技大学（广州）王林团队，对现有的深度学习在全景视觉上的应用进行了全面的回顾，并提供了一些新的观点以及对全景视觉未来的应用展望。本文首先对全景图像的成像进行了分析，紧接着对现有的在全景图像上的卷积方式进行了分类介绍，并对现有的全景图像数据集进行了收集并介绍。作为第一篇全面回顾和分析深度学习方法在全景图像应用上的综述，我们汇总并分析对比了在众多视觉任务上现有深度学习方法的相同与差异。最后，我们提供了一些全景图像的新的应用方向的研究思路，以供研究者参考讨论。1、Abstract全向图像（ODI）数据是用360x180的视场捕获的，该视场比针孔相机宽得多，并且包含比传统平面图像更丰富的空间信息。因此，全景视觉因其在自动驾驶和虚拟现实等众多应用中更具优势的性能而引起了人们的广泛关注。近年来，客户级360相机的出现使得全景视觉更加流行，深度学习（DL）的进步显著激发了其研究和应用。本文对深度学习方法在全景视觉方面的最新进展进行了系统、全面的综述和分析。作者的工作包括四个主要内容：（一）介绍全向成像原理，ODI上的卷积方法，以及数据集，以突出与2D平面图像数据相比的差异和困难;（二）

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：专知多模态学习是现在研究关注的热点。芝加哥伊利诺斯理工学院计算机科学系的学者最新《多模态机器学习》综述论文，从数据模态角度综述了最新多模态机器学习的进展。我们以多感官的方式感知世界，与世界交流，不同的信息源经过人脑不同部位的复杂处理和解释，构成一个复杂而和谐统一的感知系统。为了赋予机器真正的智能，融合不同模态数据的多模态机器学习近年来随着技术的不断进步，成为一个日益热门的研究领域。本文从一个新的角度对多模态机器学习进行了综述，不仅考虑了纯技术方面，而且还考虑了不同数据模态的性质。我们分析了从视觉、音频、文本等各个数据格式的共性和独特性，然后以视觉+X的组合分类介绍了技术发展，其中视觉数据在大多数多模态学习工作中发挥着基础作用。我们从表征学习和下游应用两个层面研究了现有的多模态学习文献，并根据它们与数据本质的技术联系进行了额外的比较，例如，图像对象和文本描述之间的语义一致性，或视频舞蹈动作和音乐节拍之间的节奏对应关系。这种对齐的开发，以及数据模态的内在本质与技术设计之间存在的差距，将有助于未来的研究，更好地解决与具体多模态任务相关的具体挑战，并促进统一的多模态机器学习框架更接近真实的人类智能系统。https://arxiv.org/abs/2210.02884引言我们通过一个多感官的人类系统，通过看物体，听声音，说语言，写和读文本，来感知和交流世界。来自不同来源的信息通常由人脑的不同部位处理[4]，[17]，[213]。例如，我们大脑中的枕叶是识别和解释视觉所见物体的距离和位置的主要视觉处理中心，而听觉信息通常由颞叶处理，以理解我们所听到的。大脑的语言区，也被称为韦尼克区，位于后上颞叶，主要负责理解书面语言和口语。其他信息处理，如触摸和动作协调，同样由大脑的不同部分处理，构成一个复杂但和谐统一的人类感知系统。人类神经处理的复杂划分意味着来自不同模态的信息应该具有内在的可区分性，但同时也有一些共性，这促使我们结合本文的数据来思考多模态机器学习问题。在历史上，视觉、音频和文本数据通常被分为不同的研究领域(即计算机视觉、数字信号处理和自然语言处理)。人工智能(AI)的最终目标是为机器带来真正的智能，如今的研究已经远远超出了单一感知视角的开发，而是进入了一个像人类大脑系统一样，以协作方式研究多个感知系统相互作用的时代。随着多模态学习的研究近年来越来越受欢迎，本文提出一项综述，不仅研究了最近文献的技术发展，还详细阐述了数据特征，并检查了这种技术设计的逻辑与各自数据性质之间的联系。我们首先介绍主要的数据模态，视觉，包括图像和视频。以视觉为基本数据模态，进一步利用其他数据模态，包括音频、文本和其他数据形式，如运动。这些数据模态在数据性质、格式和具体评估标准的不同上既有共性，又有内在的独特性。例如，音频数据可以进一步划分为音乐、语音或环境声音。语音音频与语言和文本有直接关系，而音乐音频则更具主观性，与其他形式有隐性联系。在分析数据特征的基础上，进一步介绍了现有的各种多模态数据集及其适用领域。然后我们介绍了多模态表示学习的主题，根据它们的设置分为有监督和非有监督。该分类揭示了该领域的最新趋势，研究重点从使用人工标注数据的传统监督表示学习转向使用无人工标注数据的大规模预训练。之后，我们继续讨论多模态学习的具体应用领域。在多模态应用的介绍中，本文按照两个主要方向来组织本文的综述:判别式和生成式应用。通过视觉+X形式的模态组合对每个方向进行分类，其中X主要代表音频或文本数据。我们使用视觉作为主要数据源，因为视觉数据通常在大多数计算机视觉文献的多模态学习工作中扮演着重要和基本的角色。多模态学习可以灵活而实际地应用于广泛的场景中。例如，类似于真实的人类多感官感知系统，将视觉和语言模态相结合是完成字幕任务的关键，该任务旨在提供视觉内容的文本描述，或人们可以很容易地将给定的视觉信息作为线索来想象伴随的声音。在总结了各种流行的多模式应用程序任务之后，我们强调，尽管数据模式和任务目标各不相同，但在这些感兴趣的方向中有共同的技术设计。通过分析和比较它们的技术细节，我们重新审视了数据特征，建立了内在数据性质和现有模型分解之间的联系，并就多模态学习领域的当前挑战和未来方向进行了讨论。与其他多模态调查[14]，[75]，[96]相比，我们从数据的角度来处理问题。建立多模态数据本质与方法设计之间联系的新视角，促使我们从两个主要方面对多模态研究的未来进行了深入探讨。一方面，我们相信通过强调和利用某些数据模态的独特特性，将有助于解决与某些数据模态相关的更多具体应用问题。另一方面，了解它们的共性将有助于研究人员建立一个更加统一和协作的框架，最终类似于一个真正的人类智能系统。本文的总体结构如下:

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：autotian@CSDNIMU：Inertial

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—叶小飞地址：https://zhuanlan.zhihu.com/p/415926905初入学术圈的小伙伴在写论文时一定有过一个烦恼：看大佬们的论文写的行云流水、文笔华丽，顿时激情澎湃，到了自己下笔却总是词不达意、句式散乱，翻来覆去就是那么几个重复的词，仿佛飞哥（我是小飞哥，不要搞混）附身.其实我在去年刚开始读博时也有这个困扰，写文章曾经自闭到抓耳挠腮、撸秃秀发。后来我发现，写文章这事，光去读还不行，看到好的词语、句式一定要记下来，然后到自己写论文不知该如何写时拿来参考，效果非常好：读博前我一二作最好也就是投个workshop,

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：james_aka_yale大家好，我是小z在机器学习领域，有种说法叫做“世上没有免费的午餐”，简而言之，它是指没有任何一种算法能在每个问题上都能有最好的效果，这个理论在监督学习方面体现得尤为重要。举个例子来说，你不能说神经网络永远比决策树好，反之亦然。模型运行被许多因素左右，例如数据集的大小和结构。因此，你应该根据你的问题尝试许多不同的算法，同时使用数据测试集来评估性能并选出最优项。当然，你尝试的算法必须和你的问题相切合，其中的门道便是机器学习的主要任务。打个比方，如果你想打扫房子，你可能会用到吸尘器、扫帚或者拖把，但你肯定不会拿把铲子开始挖坑吧。对于渴望了解机器学习基础知识的机器学习新人来说，这儿有份数据科学家使用的十大机器学习算法，为你介绍这十大算法的特性，便于大家更好地理解和应用，快来看看吧。01

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.20211264摘要：知识图谱是一种用图结构建模事物及事物间联系的数据表示形式，是实现认知智能的重要基础，得到了学术界和工业界的广泛关注.知识图谱的研究内容主要包括知识表示、知识抽取、知识融合、知识推理4部分.

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：新机器视觉1.

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—顽固地址：https://zhuanlan.zhihu.com/p/510136070TRPO：Trust

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：专知在人工智能迅速发展的今天，深度神经网络广泛应用于各个研究领域并取得了巨大的成功，但也同样面

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。1、数字图像：数字图像，又称为数码图像或数位图像，是二维图像用有限数字数值像素的表示。数字图像是由模拟图像数字化得到的、以像素为基本元素的、可以用数字计算机或数字电路存储和处理的图像。2、数字图像处理包括内容：图像数字化；图像变换；图像增强；图像恢复；图像压缩编码；图像分割；图像分析与描述；图像的识别分类。3、数字图像处理系统包括部分：输入（采集）；存储；输出（显示）；通信；图像处理与分析。4、从“模拟图像”到“数字图像”要经过的步骤有：图像信息的获取；图像信息的存储；图像信息处理；图像信息的传输；图像信息的输出和显示。5、数字图像1600x1200什么意思？灰度一般取值范围0~255，其含义是什么？数字图像1600x1200表示空间分辨率为1600x1200像素；灰度范围0~255指示图像的256阶灰阶，就是通过不同程度的灰色来来表示图像的明暗关系，8bit的灰度分辨率。6、图像的数字化包括哪两个过程？它们对数字化图像质量有何影响？采样：采样是将空间上连续的图像变换成离散的点，采样频率越高，还原的图像越真实。量化：量化是将采样出来的像素点转换成离散的数量值，一幅数字图像中不同灰度值得个数称为灰度等级，级数越大，图像越是清晰。7、数字化图像的数据量与哪些因素有关？图像分辨率；采样率；采样值。8、什么是灰度直方图？它有哪些应用？从灰度直方图中你可可以获得哪些信息？灰度直方图反映的是一幅图像中各灰度级像素出现的频率之间的关系它可以用于：判断图像量化是否恰当；确定图像二值化的阈值；计算图像中物体的面积；计算图像信息量。从灰度直方图中你可可以获得：

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：专知吉大最新《小数据学习》综述，26页pdf涵盖269页文献阐述小数据学习理论、方法与应用，非常值得关注！地址：https://arxiv.org/pdf/2207.14443v1.pdf对大数据的学习为人工智能(AI)带来了成功，但注释和训练成本昂贵。未来，在小数据上学习是AI的最终目的之一，这需要机器像人类一样识别依赖小数据的目标和场景。一系列的机器学习模型正在以这种方式进行，如主动学习、少样本学习、深度聚类。然而，几乎没有理论保证它们的泛化性能。而且，它们的大多数设置都是被动的，即标签分布是由一个指定的采样场景显式控制的。该调查遵循PAC

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。作者：Aidan

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—阿平地址：https://zhuanlan.zhihu.com/p/3921408401描述统计描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。例如被试的平均成绩多少？是正偏分布还是负偏分布？离中趋势分析：离中趋势分析主要靠全距、四分差、平均差、方差（协方差：用来度量两个随机变量关系的统计量）、标准差等统计指标来研究数据的离中趋势。例如，我们想知道两个教学班的语文成绩中，哪个班级内的成绩分布更分散，就可以用两个班级的四分差或百分点来比较。相关分析：相关分析探讨数据之间是否具有统计学上的关联性。这种关系既包括两个数据之间的单一相关关系——如年龄与个人领域空间之间的关系，也包括多个数据之间的多重相关关系——如年龄、抑郁症发生率、个人领域空间之间的关系；既包括A大B就大(小)，A小B就小(大)的直线相关关系，也可以是复杂相关关系（A=Y-B*X）；既可以是A、B变量同时增大这种正相关关系，也可以是A变量增大时B变量减小这种负相关，还包括两变量共同变化的紧密程度——即相关系数。实际上，相关关系唯一不研究的数据关系，就是数据协同变化的内在根据——即因果关系。获得相关系数有什么用呢？简而言之，有了相关系数，就可以根据回归方程，进行A变量到B变量的估算，这就是所谓的回归分析，因此，相关分析是一种完整的统计研究方法，它贯穿于提出假设，数据研究，数据分析，数据研究的始终。例如，我们想知道对监狱情景进行什么改造，可以降低囚徒的暴力倾向。我们就需要将不同的囚舍颜色基调、囚舍绿化程度、囚室人口密度、放风时间、探视时间进行排列组合，然后让每个囚室一种实验处理，然后用因素分析法找出与囚徒暴力倾向的相关系数最高的因素。假定这一因素为囚室人口密度，我们又要将被试随机分入不同人口密度的十几个囚室中生活，继而得到人口密度和暴力倾向两组变量（即我们讨论过的A、B两列变量）。然后，我们将人口密度排入X轴，将暴力倾向分排入Y轴，获得了一个很有价值的图表，当某典狱长想知道，某囚舍扩建到N人/间囚室，暴力倾向能降低多少。我们可以当前人口密度和改建后人口密度带入相应的回归方程，算出扩建前的预期暴力倾向和扩建后的预期暴力倾向，两数据之差即典狱长想知道的结果。推论统计：推论统计是统计学乃至于心理统计学中较为年轻的一部分内容。它以统计结果为依据，来证明或推翻某个命题。具体来说,就是通过分析样本与样本分布的差异，来估算样本与总体、同一样本的前后测成绩差异，样本与样本的成绩差距、总体与总体的成绩差距是否具有显著性差异。例如，我们想研究教育背景是否会影响人的智力测验成绩。可以找100名24岁大学毕业生和100名24岁初中毕业生。采集他们的一些智力测验成绩。用推论统计方法进行数据处理，最后会得出类似这样儿的结论：“研究发现，大学毕业生组的成绩显著高于初中毕业生组的成绩，二者在0.01水平上具有显著性差异，说明大学毕业生的一些智力测验成绩优于中学毕业生组。”其中，如果用EXCEL

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：机器之心论文地址：https://arxiv.org/pdf/2207.11812.pdf近年来，图已被广泛应用于表示和处理很多领域的复杂数据，如医疗、交通运输、生物信息学和推荐系统等。图机器学习技术是获取隐匿在复杂数据中丰富信息的有力工具，并且在像节点分类和链接预测等任务中，展现出很强的性能。尽管图机器学习技术取得了重大进展，但大多数都需要把图数据集中存储在单机上。然而，随着对数据安全和用户隐私的重视，集中存储数据变的不安全和不可行。图数据通常分布在多个数据源（数据孤岛），由于隐私和安全的原因，从不同的地方收集所需的图数据变的不可行。例如一家第三方公司想为一些金融机构训练图机器学习模型，以帮助他们检测潜在的金融犯罪和欺诈客户。每个金融机构都拥有私有客户数据，如人口统计数据以及交易记录等。每个金融机构的客户形成一个客户图，其中边代表交易记录。由于严格的隐私政策和商业竞争，各个机构的私有客户数据无法直接与第三方公司或其它他机构共享。同时，机构之间也可能有关联，这可以看作是机构之间的结构信息。因此面临的主要挑战是：在不直接访问每个机构的私有客户数据的情况下，基于私有客户图和机构间结构信息，来训练用于金融犯罪检测的图机器学习模型。联邦学习（FL）是一种分布式机器学习方案，通过协作训练解决数据孤岛问题。它使参与者（即客户）能够在不共享其私有数据的情况下联合训练机器学习模型。因此，将

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：Datawhale机器学习发展迅猛，但对理论知识的理解却跟不上？本文将给出一名数据科学家的反思，他通过效用矩阵梳理了模型的实验结果和基础理论的关系，并探讨机器学习各个子领域的进展。01引入知其然，知其所以然。机器学习领域近年的发展非常迅速，然而我们对机器学习理论的理解还很有限，有些模型的实验效果甚至超出了我们对基础理论的理解。目前，领域内越来越多的研究者开始重视和反思这个问题。近日，一位名为

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源｜腾讯研究院作者｜曹建峰

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：DeepHub

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：PaperWeekly©作者

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：机器之心文章列举出了近年来深度学习的重要研究成果，从方法、架构，以及正则化、优化技术方面进行概述。对于刚入门的深度学习新手是一份不错的参考资料，在形成基本学术界图景、指导文献查找等方面都能提供帮助。论文：Recent

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—Gordon

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。基于深度学习的工业缺陷检测方法可以降低传统人工质检的成本,

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。英文术语中文翻译0-1

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—风暴洋作者：https://zhuanlan.zhihu.com/p/42910987901序言此专栏是笔者对工作期间使用OpenCV和CUDA开发高性能算法库的过程所涉及到的知识要点和踩坑的记录，将会涉及OpenCV,

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：AI科技评论人工智能试图模仿人类智能的计算系统，包括人类一些与智能具有直观联系的功能，例如学习、解决问题以及理性地思考和行动。在广义地解释上，AI

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：深度学习前沿作为机器学习从业者，你需要知道概率分布相关的知识。这里有一份最常见的基本概率分布教程，大多数和使用

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：量子位千呼万唤始出来，马毅教授的AI综述论文终于出炉！耗时三个多月，联合神经科学家曹颖、计算机大牛沈向洋，协作完成。据本人描述，这篇论文是将他“过去五年的工作以及智能七十多年的发展有机结合起来”，并且还表示：一生从未在一篇文章上花这么多精力和时间。具体而言，就是“理出了智能的起源以及计算原理的基本轮廓和框架，能让大家认识到这种理论联系实践的可能性。”此前在社交网络上预告时，许多网友都期待十足。结果今天刚发不久，就有学者表示，正好要设计新的生成模型，给了我灵感。来看看这是篇怎样的论文？01两大原则：简约和自洽过去十年中，人工智能的进展主要依赖于训练同质化的黑箱模型，决策过程、特征表示等方面在很大程度上都是难以解释的。而这种端到端的粗暴训练，不仅导致了模型大小、训练数据以及计算成本不断增长，而且在实践中还伴随着许多问题。学到的表征缺乏丰富性；训练中缺乏稳定性；缺乏适应性，容易出现灾难性遗忘……基于这样的背景，研究人员假设，在实践中出现这些问题的根本原因之一，是对智能系统的功能和组织原则缺乏系统和综合的理解。而这背后是否存在一个统一的方法来解释。为此这篇文章提出了两个基本原则——简约和自洽，分别回答两个关于学习的基本问题。1、学什么：从数据中学习的目标是什么，如何衡量？2、如何学：我们如何通过高效和有效的计算来实现这样一个目标？他们认为这两个原则制约着任何智能系统的功能和设计，而且完全可以以可测量和可计算的方式重新表述。以简约性为例。智能的基础是环境中的低维结构，这让预测和泛化变成可能，这也就是简约原则。而应该如何来度量？本文提出了个几何公式来衡量简约性。基于这两个原则，

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—戴恩炎作者：https://zhuanlan.zhihu.com/p/505704933摘要：对于可信图神经网络（Trustworthy

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。来源：知乎—陈什么夏地址：https://zhuanlan.zhihu.com/p/531524477这篇文章旨在介绍脉冲神经网络（Spiking