实时重建手部网格;一键去水印神器!前沿技术简析~
点击上方蓝字CG世界关注我们
今天我们写篇关于最新技术的。
这是中国三位大神写的一篇论文《Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction》(实时三维手网重建中精确对齐的研究)
论文地址:https://arxiv.org/abs/2109.01723
RGB图像重建三维手部网格可以用于很多种情况,比如增强现实(AR)和混合现实体验(MR)等等,但这个任务需要实时速度、准确的手部姿势以及合理的网格图像对齐,能同时满足这三个要求对开发人员来说是一个很大的挑战。
针对这个问题,国人团队的三位大神Xiao Tang, Tianyu Wang, Chi-Wing Fu提出将手部网格重建最新方法。
任务分为三个阶段:
1.预测手部关节和分割的关节阶段;
2.用于预测粗糙手部网格的网格阶段;
3.细化阶段,用于使用偏移网格对其进行微调,以实现网格图像对齐。
“通过对网络结构和损失函数的精心设计,我们可以促进高质量的手指级网格图像对齐,并将模型驱动在一起以提供实时预测。基准数据集上的大量定量和定性结果表明,我们的结果质量在手部网格、姿势精度和手指图像对齐方面优于最先进的方法。”
利用神经网络扣除图片物体并完整修复背景
一科学家小组公布了一种技术,它是一种新傅立叶卷积的分辨率鲁棒性的大型遮罩修复技术,简称LaMa。LaMa可从图片中删除各种对象,如人物、家具、建筑物、动物、不需要的细节等。然后神经网络会重新修复删除物体背后的背景,即使很复杂的场景表现也非常出色。
大家首先想到的是Photoshop里的智能填充功能吧?我也是,于是我试了试,但是PS好像也能,但是复杂一点的背景恢复的没有这个好。不过这个修复完了,有时候留下一个黑影~
看它给的案例挺厉害的,我寻思这得试试啊。于是我翻了很多图之后,找来下面这张图测试。
用它的工具画了个遮罩。
执行
效果倒是可以,但是为啥不按照我的遮罩执行命令,把左上角水印和竹排都给我搞没了??!我遮罩没画好的原因么??还是在跟我显呗去水印能力?
好吧,既然能去水印,看看去个水印如何?于是我找到一个相对复杂的图片。▼
网上随意找了个图,这个图即带铁丝网,后边背景又有图案,水印还是透明的。于是我就把它拖到LaMa的网页里,执行,唉我去,效果相当可以。▼
为了对比,我又找了一个去水印专有软件Inpaint,用这张图试了试,得到的结果是这样的。▼
好了,看我玩了半天,是不是也馋了,想试试手吧?
https://huggingface.co/spaces/akhaliq/lama
其实很简单,大家经常摆弄Max,Maya大型软件,这个玩意一看就会。
点击上面的虚线框,或者拖拽一张图到虚线框里也可以。▼
然后点击,右上角有个Edit。▼
左侧是工具栏,右侧是操作栏,大家一看就知道了。▼
用铅笔工具画个遮罩圈圈,这个工具我没弄明白到底是涂满还是圈上主体就可以,有时候结果不是很准,大家自己研究吧。▼
接着点击Submit(提交)▼
反正我觉得,如果看中网上某个材质图片,有水印的,这个感觉很方面,打开网页,画个遮罩就出来了,扣个人像,如果不复杂,也是很快的。
论文地址:https://saic-mdal.github.io/lama-project/
好了,今天内容就到这里吧。
全文完
不开玩笑!你自己也能做出好莱坞大场面!
闲着没事就写个工具,不卖,就是自己用!Houdini大神都这么强么?
这水准胜过很多专业团队了!!高布兰学院学生毕业短片
苹果也加入Blender基金会了~!
好玩!用个Ipad就实时把现实物体变成3D物体了?两个有意思的论文解析
为《长津湖》做概念设计是怎样的体验?概念设计师孙立东专访