Layers适配器层的数量和位置的消融研究在具有相同数量的可训练层数的情况下，对语言模型的顶层和底层同时进行微调比只微调顶层或底层要有效得多。compression

它促进了神经网络的发展。自编码神经网络是一种无监督学习算法（训练示例未标注），它使用了BP反向传播算法，致力于使输出与输入越接近越好。AE网络一般有两个特性：dim(Hidden

nowAI发展了这么多年，生成式AI为什么最近才火了呢？密码就是：大规模预训练网络+fine-tune模型

论文链接：https://arxiv.org/pdf/2212.08045.pdf代码链接：https://github.com/google-research/big_vision导读Example

manipulation应用下图展示了该方法应用到图像编辑的各种任务：内容删除(a)、风格生成(b)和风格转移(c)。Multi-tasksThe

子网的获取步骤假设我们有一个子网的配置，试图从超网中获得一个独立的子网，需要经过以下三步：设置子网先对超网设置设置子网：set_active_subnet(ks=net_config['ks'],

虎年纷至春意渐浓派派星为大家准备了2022年“CVHub”专属红包封面祝大家新的一年生龙活虎好运年年相信美好的事物总会发生点击下方图片领取限量红包封面今年过节不收礼，收礼只收CVHub！

为啥GPU利用率总是这么低上回说到，如何榨干GPU的显存，使得我们的模型成功跑起来了。但是，又一个问题来了，GPU的利用率总是一会99%，一会10%，就不能一直99%榨干算力？导致算力不能够完全利用的原因是数据处理的速度没有跟上网络的训练速度。因此，我们抓手在于提高数据的读取、预处理速度。定位问题首先，我们得先判断到底是不是数据读取、预处理阶段是整个pipeline的瓶颈，不然岂不是优化了个寂寞。pycharm

$pkg_name$pkg_name为你所创建的环境名，此处为cvhub。（下同）注：Linux系统下如果没配置好./bashrc，会导致conda指令失效，可使用以下临时指令激活：source

accumulation（梯度累加）也可以达到类似的效果。一般来说，我们使用pytorch写网络的训练过程主要是下面这个流程：for

GAN论文链接：https://arxiv.org/abs/1710.10196代码链接：https://github.com/akanimax/pro_gan_pytorchProgressive

简介论文链接：https://arxiv.org/pdf/1911.05722.pdf代码链接：https://github.com/facebookresearch/moco背景对于CV或是NLP领域，学习好的表征是至关重要的。通过无监督方法来学习特征表达，NLP领域已经获得了不错的进展。然而，对于CV领域，主流的方案还是嵌入经ImageNet预训练的模型。目前，在CV领域也出现了基于对比学习的自监督(无监督范畴)表征学习方法并获得了不错的效果。对比学习可以看作为训练一个编码器进行字典查询的任务。具体来说，query即需要查询的样本特征，keys即字典中一系列的样本特征，对于特定的query，字典中只有一个key与其匹配（同一个样本的不同数据增强方式），其余的key不匹配（不同的样本）。进一步地，对比学习的目标即是最大化query与其对应key的相似度，最小化query与其他key之间的相似度。两种传统的对比学习策略虽然，目前的对比学习方法在CV领域表现差强人意，但仍存在以下问题限制其进一步发展。上图展示了两种不同的对比学习策略，end-to-end和memory

引言医学图像分割其实是一个很宽泛的概念，不可否认的是，U-Net[1]对于促进医学图像分割领域的发展起着至关重要的作用。直至今天，许多公开发表的文献仍然会以U-Net作为基础网络。本文将为大家重点梳理下医学图像分割的趋势是什么？在开始之前，可以先理解这个概念：医学图像分割

引言目标检测领域发展至今已有二十余载，从早期的传统方法到如今的深度学习方法，精度越来越高的同时速度也越来越快，这得益于深度学习等相关技术的不断发展。本文将对目标检测领域的发展做一个系统性的介绍，旨在为读者构建一个完整的知识体系架构，同时了解目标检测相关的技术栈及其未来的发展趋势。由于编者水平有限，本文若有不当之处还请指出与纠正，欢迎大家评论交流！本文将从以下九大方面进行展开：背景目标检测算法发展脉络目标检测常用数据集及评价指标目标检测任务普遍存在的六大难点与挑战目标检测的五大技术及其演变目标检测模型的加速技术提高目标检测模型精度的五大技术目标检测的五大应用场景目标检测未来发展的七大趋势由于篇幅较长，本文已整理成PDF，方便大家在必要时查阅，关注CVHub并于后台回复"目标检测综述"即可领取资料！1.

引言卷积，是卷积神经网络中最重要的组件之一。不同的卷积结构有着不一样的功能，但本质上都是用于提取特征。比如，在传统图像处理中，人们通过设定不同的算子来提取诸如边缘、水平、垂直等固定的特征。而在卷积神经网络中，仅需要随机初始化一个固定卷积核大小的滤波器，并通过诸如反向传播的技术来实现卷积核参数的自动更新即可。其中，浅层的滤波器对诸如点、线、面等底层特征比较敏感，深层的滤波器则可以用于提取更加抽象的高级语义特征，以完成从低级特征到高级特征的映射。本文将从背景、原理、特性及改进四个维度分别梳理10篇影响力深远的经典卷积模块以及10篇具有代表性的卷积变体，使读者对卷积的发展脉络有一个更加清晰的认知。【经典卷积系列】原始卷积

ReLU、实例归一化和用跨步卷积进行下采样的。在数据增强方面，主要是用到了即仿射变换、非线性形变、强度变换（类似于伽马校正）、沿所有轴镜像和随机裁剪。在顺势函数方面，使用了结合

简介论文链接：https://arxiv.org/pdf/1903.04120.pdf代码链接：https://github.com/CVHuber/Convolution/blob/main/HetConv背景近年来，卷积神经网络（CNN）在视觉领域取得了卓越的成就。不断提升性能的总体趋势使得模型变得越来越复杂、层数越来越多。然而，通过增加模型复杂度的方法来提升准确度的同时，也会带来计算成本的大幅增长。因此，一些研究提出了模型压缩：剪枝、蒸馏、量化。这些方法虽然能有效降低参数量，但存在训练流程繁琐，时间成本大等问题。还有一些着重于卷积结构优化的方法：MobileNet、ShuffleNet等，这些方法都是基于逐点卷积（Point-wise

在大多数数据点上通常呈现出一种非常稀疏的状态。因此，可以通过结合结构偏差（删除节点之间的一些连接）来减少每个query关注的query-key对的数量以降低计算的复杂度。Position-based

导读视觉注意力机制是人类视觉所特有的一种大脑信号处理机制，而深度学习中的注意力机制正是借鉴了人类视觉的注意力思维方式。一般来说，人类在观察外界环境时会迅速的扫描全景，然后根据大脑信号的处理快速的锁定重点关注的目标区域，最终形成注意力焦点[1]。该机制可以帮助人类在有限的资源下，从大量无关背景区域中筛选出具有重要价值信息的目标区域，帮助人类更加高效的处理视觉信息。起源注意力机制在计算机视觉领域的应用主要使用于捕捉图像上的respective

导读CV技术栈在这个AI大爆发的时代，彷佛只要与人工智能沾边的工作便显得高大上起来，与之相反的便是被大多数网友们痛批的一无是处的生化环材专业。虽然AI为我们的生活增添了许多便利，但是随着越来越多的人涌入这个圈子，也导致了整个AI圈迅速膨胀。计算机视觉，相对比自然语言处理这个领域来说入门门槛会稍微低些，而且图片视频相对于文字来说也更具有趣味性和易于理解。然而，这也会导致CV圈越来越卷，通过知乎相关热门问答便能体会到：2016年——深度学习的春天是不是要来了?2017年——人工智能是不是一个泡沫？2018年——算法岗是否值得进入？2019年——如何看待算法岗竞争激烈，供不应求？2020年——如何看待算法岗一片红海，诸神黄昏?2021年——如何看待算法岗灰飞烟灭？CVHub有云，小卷怡情，大卷伤身，强卷灰飞烟灭。正所谓人在CV圈，哪有不被卷？正因为如此，我们如何才能在这个浮躁的环境中沉下心来，选定一条合适自己的学习路线，从千军万马中脱颖而出，荣登时代的C位呢？这便是本篇文章诞生的目的，本文旨在构建最完整的CV学习路线，帮助大家早日从“调参侠”的包袱中脱离出来，成为一名真正合格的算法工程师。本文将从以下三大维度为大家逐一展开介绍。offer公式软基础软基础，可以理解为技能栈，它是支撑整个发展路线的核心。数学与英语基础相信对于任何一个理工科的学生而言，数学的重要性是不言而喻的。因此，掌握好数学基础，有助于我们更好地理解其它知识以及为后面的学习做铺垫。然而，数学领域所涉及到知识可谓非常广泛，如果漫无目的的看，可能对于90%的人来说第一关就已经从入门到放弃了。下面，我们将给出计算机视觉领域所涉及到的一些数学基础，对于需要重点掌握的知识我们均会提及一下，其余未涉及到的知识点可视个人时间精力和研究方向自行查阅相关资料：微积分《微积分》是现代数学的基础，也是支撑后续几门数学分支的重要基石。顾名思义，微积分里面包含的两个核心组件便是微分和积分。其中，与微分比较接近的概念便是导数，熟练的计算导数有助于我们后面推导整个梯度下降的过程。其次，掌握上确界和下确界的概念有助于我们理解诸如Wasserstein距离，它作为一种损失函数被应用于WGAN以解决训练不稳定的问题。此外，有涉及到GAN方向的同学也可以理解下Lipschitz连续性的概念，它对提高GAN训练的稳当性分析具有不可替代的作用。而对于基础的深度学习原理来说，我们更多的需要掌握的概念是：梯度、偏导数、链式求导法则、导数与函数的极值&单调性&凹凸性判断、定积分与不定积分。最后，我们可以着重理解下泰勒公式，它是理解各种优化算法的核心。线性代数与矩阵论《线性代数》是工科生的必备基础。由于计算机现有的运算方式大都是基于并行计算的，无论是机器学习或者深度学习模型来说，数据都是以矩阵或者向量化的形式传入的。因此，我们首先要明白线性空间、向量、标量、矩阵、范数、秩

论文链接：https://arxiv.org/pdf/1904.04971代码链接1(官方)：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv代码链接2(非官方)：https://github.com/nibuiro/CondConv-pytorch简介本文是谷歌Quoc

作者又补充了的生成：解说DPP池化允许缩减规模以专注于重要的结构细节，可学习的参数控制着细节的保存量，此外，由于细节保存和规范化相互补充，DPP可以与随机合并方法结合使用，以进一步提高准确率。8.

loss首先提出了一种有效的交并集（IOU）损失，它可以准确地测量边界框回归中的重叠面积、中心点和边长三个几何因素的差异：其次，基于对有效样本挖掘问题（EEM）的探讨，提出了Focal

5月26日，《自然》杂志出版了2021年中国自然指数。《自然》杂志是世界上自然科学领域内最权威的杂志，每年所公布的自然指数非常具有代表性，是衡量一所高校科研实力非常重要的指标。在今年公布的榜单中，我国共有89所高效位居该指数排行榜的国内前百。其中，共有85所大学位列世界前500强，21所大学位居全球前100强！注：在自然指数中，化学代号为C，物理为P，地球与生态环境为E，生命科学为L。中国内地排名前十的大学分别为：中国科学技术大学、北京大学、中国科学院大学、南京大学、清华大学、浙江大学、上海交通大学、复旦大学、中山大学和南开大学。除了69所双一流高效入选外，榜单中共有南方科技大学（11）、南京工业大学（30）、深圳大学（34）、山东师范大学（42）、上海科技大学（43）、浙江工业大学（47）以及广东工业大学（58）等20所双非高校入围。值得关注的是，南方科技大学作为一所双非院校，虽然于2009年才建校，至今办校不过12年，其发展势头非常迅猛。其中，物理学科位居全国高校前10，整体排名位列第11名！此外，排第34名的深圳大学，作为深圳市的头牌大学和全国出名的网红大学，其硬件设施和师资水平在全国也是响当当的，实力同样不容小觑！深大的光电、建筑和计算机专业在全国也排得上号，另据小道消息，深大很大概率会入围下一次的双一流大学评选，可作为本科非985大学学生考研的首选目标院校。然而，缺点是近几年考研分数也是水涨船高，非常之卷。对于想留在南方，但又担心自己分数达不到的同学，建议可以报考广东工业大学。广工在当地的口碑也是非常不错，而且每年的考研分数线适中，招生名额相比于其它院校也多很多。另外，广工校园整体是比较注重工程应用，毕业生整体就业水平也相当不错，缺点是科研氛围相对欠缺。最后，对于有意愿读博的同学建议研究生报考211和985高校。其中211高校中的苏州大学可以重点考虑，其坐落于美丽的国家历史文化名城苏州，是教育部与江苏省人民政府共建的国家“世界一流学科建设高校”，性价比总体而言相对较高。当然，对于敢于挑战自己的同学来说，清北复交浙→中科大中科院→武大华中南大中大南开哈工大西交大→川大湖大厦大吉大天大山大华工同济等也可按序考虑。编辑

15:00:00，国内目前的疫情情况如下：目前疫情形式仍然严峻，出门请佩戴好口罩，谨慎防范，尽快接种新冠疫苗！

论文链接：https://arxiv.org/pdf/2006.12030代码链接：https://github.com/yangyanli/DO-Conv简介本文是阿里巴巴Jinming

据人民日报5月22日消息：“共和国勋章”获得者、中国工程院院士、国家杂交水稻工程技术研究中心主任、湖南省政协原副主席袁隆平，因多器官功能衰竭，于2021年5月22日13时07分在长沙逝世，享年91岁。在沉痛悼念袁老的同时，我们也不能忘记有一群和袁老一样的人，他们为了让中国人吃饱肚子，付出了毕生的心血。今天用一张图一起来回忆中国人从饥荒到温饱的历史，饮水不忘挖井人，吃米不忘种稻人。监制

简介论文链接：https://arxiv.org/pdf/2103.06255.pdf代码链接：https://github.com/CVHuber/Convolution/blob/main/Involution.py背景近年来，卷积网络体系结构发展迅速，但深度神经网络架构的主要组件依然离不开卷积。与经典的图像滤波方法类似，卷积核（Kernel）具有两个显著的特性：空间不变性（Spatial-agnostic）和通道特异性（Channel-specific）。前者保证了不同空间区域之间权值共享，实现了平移不变性；后者负责将特征信息编码到不同的通道中，增强了特征表达。虽然这两种特性能够提升对于图像数据的学习效率，但是还存在以下两个主要问题：空间维度剥夺了卷积核捕获不同空间位置的多种特征表示能力。通道维度卷积内部的通道间会有冗余。动机上文提到，常规卷积作为搭建神经网络的主要组件，存在编码能力有限和通道间冗余的问题。产生这些问题的主要原因是Kernel的固有特性：空间不变性和通道特异性。为了克服上述的限制，本文提出了一种内卷操作（Involution），与常规卷积相比，其具有对称反向特性，即空间特异性（Spatial-Specific）和通道不变性（Channel-Agnostic）。方法Involution模块如图所示，内卷操作的计算流程主要分为两个部分：生成内卷核和计算内卷积。生成内卷核选取某个空间位置的所有通道像素（红色长方形），通过变换函数并展开获得内卷核（K×K×1）计算内卷积进行乘和操作，即先把内卷核拉成K×K×C，与对应位置相乘，再将K×K个1×1×C相加，代替原来位置的像素，完成内卷积计算。对比常规卷积，内卷有以下优点：通过将权重自适应地分配到不同的位置，对不同信息量的特征进行优先级排序。（常规卷积对于不同的位置，都是应用一样权重）在更广阔的空间中聚合上下文，从而克服对远距离依赖建模的困难。（常规卷积通常使用小卷积核，感受野有限）通过共享内卷核，减少核的冗余。性能对比与先进模块的对比上图展示了Involution模块（RedNet）与其他先进方法在计算量和参数量的对比，效果还是比较明显的。与Baseline对比上图展示了Baseline（第三行）和本文方法（第四行）的可视化结果对比，本文方法的分割性能明显略胜一筹。Github上开源实现非常多，大家可以自行尝试。总结本文通过对卷积核两大特性的分析，提出了一种拥有与其对称反向特性（空间特异性和通道不变性）的卷积结构—内卷。其中，空间特异性使得卷积核具有捕获不同空间位置的多种特征表示能力，并改善了长距离像素依赖的问题；通道不变性能一定程度上减少通道间的冗余信息，提升网络的计算效率。所提出的内卷模块易于实现，即插即用，可以轻易地代替常规卷积实现优秀的骨干网络结构。往期精选【卷积系列】Octave

简介论文链接：https://arxiv.org/abs/1904.05049代码链接：https://github.com/facebookresearch/OctConv改善卷积神经网络（Convolutional

论文链接：https://arxiv.org/pdf/1511.07122.pdf代码链接：https://github.com/fyu/dilation动机空洞卷积最早是应用于语义分割任务的。众所周知，语义分割是一种密集型的预测任务，它需要对图像进行像素级别的（pixel-wise）分类。语义分割任务的一大难点在于如何高效地提取出多尺度的上下文信息，以适应不同物体尺度的变化。通常，基于CNN的方法大都是基于一种分层的特征表示，通过不断地堆叠卷积层和池化层来提取不同层级的特征。然而仍然存在以下问题：随着网络深度的增加，计算量和参数量会急剧的增加过多的下采样次数会导致分辨率较小的物体无法重建上采样或者下采样层没有参数可以进行学习内部数据结构以及空间层次化信息丢失严重因此，本文提出一种称为空洞卷积的模块，能够在不降低空间分辨率的情况下，有效的提取不同尺度的上下文信息。方法图1.普通卷积图2.空洞卷积图1是普通卷积的工作原理，而图2则是空洞卷积的工作原理。从字面意思也不难理解，空洞卷积本质上就是在常规卷积的基础上引入空洞的概念，使得网络能够同等卷积核的情况下扩大网络的感受野。因此，空洞卷积也比常规卷积多引入了一个超参数，即dilation

论文链接：http://openaccess.thecvf.com/content_CVPR_2020/papers/Chen_Dynamic_Convolution_Attention_Over_Convolution_Kernels_CVPR_2020_paper.pdf代码链接(非官方)：https://github.com/kaijieshi7/Dynamic-convolution-PytorchIntroduction本文是微软亚洲研究院Chen

简介论文链接：https://arxiv.org/pdf/1703.06211.pdf代码链接：https://github.com/CVHuber/Convolution/blob/main/Deformable_convolution.py背景常规卷积方式通常是利用固定的几何结构来提取特征信息，这对于建模不规则形状的语义特征信息存在着天然的缺陷。如下图（左）所示，受限于固定的特征提取方式，常规卷积方式并不能对图片中的物体语义进行有效地捕捉（感受野的范围并没有覆盖到整个物体）。因此，一些研究提出了在数据集上做文章，通过仿射变换（Affine

简介论文链接：https://arxiv.org/abs/1911.11907代码链接：https://github.com/huawei-noah/ghostnet背景常规的特征提取方式是利用多个卷积核对输入特征图中所有的通道进行卷积映射操作。然而，在深层网络中，堆叠大量的卷积层需要耗费巨大的参数量和计算量，同时也会产生许多丰富甚至冗余的特征图，如下图所示。因此，一些研究提出了模型压缩方法：剪枝、量化、知识蒸馏等。然而，虽然这些方法虽然能有效降低参数量，但存在模型设计复杂和训练困难等问题。还有一些着重于网络结构优化的方法：MobileNet、ShuffleNet等。然而，虽然这类方法简单且有效、易于实现，但1×1卷积层仍占用大量的内存和FLOPs。ResNet50特征图可视化动机众所周知，通过堆叠卷积层可以捕获丰富的特征信息，其中也包含了冗余信息，这有利于网络对数据有更全面的理解。因此，我们可以通过常规卷积操作提取丰富的特征信息，对于冗余的特征信息，则利用更价廉的线性变换操作来生成，这样不仅能够有效地降低模型所需计算资源，同时设计简单、易于实现，可以即插即用。方法Ghost模块如上图所示，GhostNet模型首先利用少量的卷积核对输入特征图进行特征提取，然后进一步地对这部分特征图进行更价廉的线性变化运算，最后通过Concatenation（拼接操作）生成最终的特征图。这个方法减少了非关键特征的学习成本：即通过组合少量卷积核与更廉价的线性变化操作代替常规卷积方式，从而有效降低对计算资源需求的同时，并不影响模型的性能。实现class

背景随着人工智能产品化压力逐渐变大，训练更加高效的神经网络模型逐渐成为人们关注的焦点，设计轻量型模型主要通过以下三种方式：减少网络参数量和计算量量化参数，减少每个参数占用内存神经网路架构搜索（NAS）而深度可分离卷积（Depthwise

CNNs）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward