实时重建手部网格；一键去水印神器！前沿技术简析~

点击上方蓝字CG世界关注我们

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

今天我们写篇关于最新技术的。

手部网格实时重建

这是中国三位大神写的一篇论文《Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction》（实时三维手网重建中精确对齐的研究）

论文地址：https://arxiv.org/abs/2109.01723

RGB图像重建三维手部网格可以用于很多种情况，比如增强现实（AR）和混合现实体验（MR）等等，但这个任务需要实时速度、准确的手部姿势以及合理的网格图像对齐，能同时满足这三个要求对开发人员来说是一个很大的挑战。

针对这个问题，国人团队的三位大神Xiao Tang, Tianyu Wang, Chi-Wing Fu提出将手部网格重建最新方法。

任务分为三个阶段：

1.预测手部关节和分割的关节阶段；

2.用于预测粗糙手部网格的网格阶段；

3.细化阶段，用于使用偏移网格对其进行微调，以实现网格图像对齐。

“通过对网络结构和损失函数的精心设计，我们可以促进高质量的手指级网格图像对齐，并将模型驱动在一起以提供实时预测。基准数据集上的大量定量和定性结果表明，我们的结果质量在手部网格、姿势精度和手指图像对齐方面优于最先进的方法。”

利用神经网络扣除图片物体并完整修复背景

一科学家小组公布了一种技术，它是一种新傅立叶卷积的分辨率鲁棒性的大型遮罩修复技术，简称LaMa。LaMa可从图片中删除各种对象，如人物、家具、建筑物、动物、不需要的细节等。然后神经网络会重新修复删除物体背后的背景，即使很复杂的场景表现也非常出色。

大家首先想到的是Photoshop里的智能填充功能吧？我也是，于是我试了试，但是PS好像也能，但是复杂一点的背景恢复的没有这个好。不过这个修复完了，有时候留下一个黑影~

看它给的案例挺厉害的，我寻思这得试试啊。于是我翻了很多图之后，找来下面这张图测试。

原图（素材来源网络侵删）

用它的工具画了个遮罩。

执行

得到的结果图片如下▼

效果倒是可以，但是为啥不按照我的遮罩执行命令，把左上角水印和竹排都给我搞没了？？！我遮罩没画好的原因么？？还是在跟我显呗去水印能力？

好吧，既然能去水印，看看去个水印如何？于是我找到一个相对复杂的图片。▼

网上随意找了个图，这个图即带铁丝网，后边背景又有图案，水印还是透明的。于是我就把它拖到LaMa的网页里，执行，唉我去，效果相当可以。▼

为了对比，我又找了一个去水印专有软件Inpaint，用这张图试了试，得到的结果是这样的。▼

这是PS智能填充得到的效果。▼

当然了，大千世界各种特殊的图片都有，不是每个都可以一键比较完美的扣除的。后来我又找了几个特殊的。效果不是很理想。▼

好了，看我玩了半天，是不是也馋了，想试试手吧？

https://huggingface.co/spaces/akhaliq/lama

用网页打开上面这个网址，看到这样一个界面。▼

其实很简单，大家经常摆弄Max，Maya大型软件，这个玩意一看就会。

点击上面的虚线框，或者拖拽一张图到虚线框里也可以。▼

然后点击，右上角有个Edit。▼

左侧是工具栏，右侧是操作栏，大家一看就知道了。▼

用铅笔工具画个遮罩圈圈，这个工具我没弄明白到底是涂满还是圈上主体就可以，有时候结果不是很准，大家自己研究吧。▼

接着点击Submit（提交）▼

稍等一会，结果就出现在右侧了。时间长短根据处理图片复杂程度有关。▼

反正我觉得，如果看中网上某个材质图片，有水印的，这个感觉很方面，打开网页，画个遮罩就出来了，扣个人像，如果不复杂，也是很快的。

论文地址：https://saic-mdal.github.io/lama-project/

好了，今天内容就到这里吧。

全文完