倾斜摄影相机与建模效果的关联你真的了解吗?
The following article is from 成都睿铂科技 Author 成都睿铂科技
目前,实景三维建模主要采用倾斜摄影技术来实现。而既然要做到实景建模,我们当然希望模型效果尽可能地反映真实世界,但是直接通过现有建模软件生成的三维模型肯定有瑕疵。而这些瑕疵可能是由原理性因素与主观性因素两种情况造成的。
因为现有主流倾斜摄影三维建模软件的原理都是基于影像特征点提取和匹配来实现模型建立的,这就会导致当测区包含以下四种场景时,建模就可能出现问题。
1、无法反映物体真实纹理信息的反光面。
例如水面、玻璃、大面积单一纹理面的建筑物。
2、慢速运动的物体,例如十字路口的汽车。
3、随风晃动的植被。
无法匹配特征点或者匹配的特征点误差较大的场景,例如树木、灌木丛等。
4、复杂、镂空的建筑物。
例如护栏、基站、铁塔、高压线等。
对于1、2类型场景,无论怎么提高原始数据质量,模型效果都不会有太大改善,甚至有可能随着模型分辨率的提高,建模的效果还会更差。而对于3、4类型场景,虽然可以通过提高模型分辨率来改善一定的模型效果,但是仍然很容易出现空洞和拉花,而且低效。这四种场景下的模型瑕疵,是由倾斜摄影原理性问题导致的。而在现阶段,这类问题不可避免。
02主观性因素
第二种瑕疵主要是由航飞作业参数的设置、航飞光影条件、数据采集设备、建模软件等主观因素变化导致的。其表现为模型建筑物出现重影、整体拉花、融化、光影严重斑驳、建筑错位、变形、建筑粘连等问题。
当然,这些问题也可以通过后期软件修补的方式来解决。但是,接触过相关工作的客户应该比较了解,如果要进行大面积、大规模的模型修饰工作,花费的人力、时间成本是非常庞大的。
原始建模效果
精修模型效果
模型的修饰和精修不是本文讨论的方向,如果大家感兴趣,可以在评论区留言。我们将根据大家的关注程度,评估是否给大家介绍一些模型精修的经验。
作为倾斜摄影相机研发厂家,睿铂从设备研发的角度对这两类瑕疵进行了深入思考:如何设计倾斜摄影相机,才能够保证在不增加重叠度或者航片数量的条件下,提高建模效果呢?
为了方便大家理解,文章分成两到三个部分。首先给大家讲解一些相关参数的背景知识,以及大家可能对这些参数存在的误解。后面再介绍睿铂如何基于这些参数的相互关系,以提高模型效果为目标,来指Pros系列产品的研发。
焦距是光学镜头一个非常重要的参数。镜头焦距的长短决定了被摄物在成像介质上的大小,也就相当于物和象的比例尺。
对于数码照相机(DSC)来说,其成像介质为图像传感器(主要是CCD与CMOS两类传感器)。数码相机在航测中使用时,镜头焦距的长短就决定了地面影像分辨率(GSD)。
当在相同距离拍摄同一个目标物体时,镜头焦距长的,所成物象大;镜头焦距短的,所成物象小。镜头焦距的长短决定成像大小,视场角大小,景深和画面的透视强弱。根据用途的不同,相机镜头的焦距相差可以非常大,有短到几毫米,十几毫米的,也有长达几米的。航空摄影镜头焦距一般选在20mm~100mm这个区间(不考虑镜头畸变的影响)。
焦距示意图
在光学仪器中,以其镜头中心点为顶点,以被测目标物像可通过镜头的最大范围边缘所构成的夹角,称为视场角。 视场角的大小决定了光学仪器的视野范围,视场角越大,视野就越大,光学倍率就越小。通俗地说,如果目标物体不在视场角范围内,则该物体反射或发射的光线就不会进入镜头内,也就无法成像。
视场角与焦距
关于倾斜摄影相机焦距,客户一般存在两个误解:
1)焦距越长,飞机飞行高度越高,影像覆盖面积越大;
2)焦距越长,覆盖面积越大,作业效率越高;
客户之所以会有上面两种误解,原因就是没有认识到焦距和视场角的关系。
二者的关系为:焦距越长,FOV越小;焦距越短,FOV越大。所以在画幅物理尺寸、画幅分辨率和采集分辨率相同的前提下,焦距的改变只会影响航飞的高度,而相机在地面覆盖的投影面积一般是不变的。
还有一种更容易理解的方式。比如DG3pros每个镜头像素是6000x4000,以正射镜头为例:整张航片覆盖的地面投影面积计算公式为GSD*6000XGSD*4000。如果航飞分辨率是2cm,那么就表示每一个像元覆盖的地面投影面积为2x2cm,那么整张航片覆盖的地面投影面积为12000x8000cm,即120x80m。
从覆盖面积计算公式可以看出:航片覆盖面积与焦距无关,所以当分辨率一确定,航片的覆盖面积也就确定了,无论焦距如何变化,都不会影响航片的实际覆盖面积。
06焦距与效率的问题
明白了焦距与FOV的关系,大家可能会认为焦距的长短对于航飞效率没有影响。对于正射摄影测量来说,这句话相对正确。(但严格来说,焦距越长,无人机飞的越高,耗能就越多,续航时间就会变短,整体效率也就降低了。)
而对于倾斜摄影来说,焦距越长,作业效率反而越低。倾斜摄影相机的倾斜镜头一般是倾斜45°放置,为了保证采集到测区边缘外立面的影像数据,航线需要外扩。因为镜头45°倾斜,则会形成直角等腰三角形,假设不考虑无人机飞行姿态,以倾斜镜头主光轴正好拍摄到测区边缘线作为航线规划的要求,则无人机航线外扩距离等于无人机飞行高度。
所以如果航线覆盖面积不变,短焦镜头的有效面积大于长焦镜头的有效面积。在之前的介绍Riy-pros作业效率分析一文中,才特别注明了表格作业效率仅代表无人机作业飞行的投影面积,有效区域面积小于航飞投影面积。
如果客户只在地势比较平坦的区域做地籍测量相关项目,为了提升作业效率,我们一般会推荐D2pros倾斜相机。如果客户除了地籍项目,还有固定翼城市大面积项目,或者作业区域地势比较复杂,在这种综合场景下,我们一般会推荐DG3pros或者性能更优的DG4pros倾斜摄影相机。
通过上面的介绍,相信大家对焦距与视场角之间的关系有了一个初步的了解。从作业航飞参数设置,到后期模型的建立,这两个参数的影子贯穿始终。
那么到底这两个参数对模型效果有什么影响?下面,我们就介绍睿铂是如何在产品研发过程中发现其中的联系,又如何在航高与效果的矛盾中寻求平衡。
RIY-D2是专门针对地籍测量项目研发的一款产品,也是市场上最早采用下托挂式和镜头内对设计方案的倾斜摄影相机。
D2建模精度高,模型效果好,适合用于地势平坦,楼层不太高的场景建模。但是对于落差较大,地形、地貌复杂(含高压线、烟囱、基站等高层建筑的场景),无人机的飞行安全会受到影响。
RIY-D2
实际作业中,的确有客户因为没有设计好航高,导致无人机挂高压线或者撞基站;或者有些无人机虽然侥幸掠过危险点,但检查航片时才发现,无人机离危险源非常近。这些危险和隐患,往往会造成客户巨大的财产损失。
航片中的基站
所以有众多客户反馈:能否设计一款长焦距倾斜摄影相机,使无人机的作业高度更高,让作业更安全?基于客户的需求,我们在RIY-D2的基础上,研发了长焦距版本的RIY-D3。相比于D2,在相同的分辨率下,D3可以让无人机作业航高提升约60%。
分辨率与其对应航高
在研发D3的过程中,睿铂研发人员一直认为更长的焦距可以有更高的飞行高度,更好的建模效果和采图精度。
可实际作业后,才发现完全不是预想的那样,D3相对于D2,建立的模型在屋檐下的拉花变得严重,而且效率相对较低。
为什么焦距更长的D3的建模效果反而没有D2建模效果好呢?
关于焦距与建模效果的关系,大多数客户都存在一些误解,甚至很多倾斜摄影相机厂家都会错误地认为长焦距镜头对建模效果有帮助。
实际情况是:在其他参数相同的前提下,对于城市立面建筑建模场景,焦距越长,模型的建模效果反而越差。
上文中第5点讲解了焦距与视场角的关系:在其他参数相同的前提下,焦距只会影响航高。如图所示,现有两个镜头,红色表示长焦镜头,蓝色表示短焦镜头。长焦镜头与墙面所形成的最大夹角是α,短焦镜头与墙面所形成的最大夹角是β。
显然:β>α
这个夹角大小表示什么呢?镜头视场边缘线与墙面的夹角越大,镜头相对于墙面也就越水平。在建筑物立面信息采集时,短焦镜头能够更水平地采集墙面信息,建立的模型也就能够更好地反映出立面的纹理。
所以对于有立面的场景,镜头焦距越短,采集的立面信息越丰富,建模效果越好。
前面我们说到,对于有屋檐的场景,D3的建模效果没有D2好。这是因为在地面分辨率相同的条件下,镜头焦距越长,无人机航高越高,屋檐下面的盲区就会越多,那么模型的拉花就会越严重。
如下图所示,若虚线表示屋檐,则长焦镜头的视野被遮挡的部分相对更多。
所以这种场景中,拥有更长焦距镜头的D3比D2采集数据建立的模型拉花更加严重。
根据上述焦距与模型效果的逻辑,如果镜头焦距足够短,视场角足够大,实际根本不需要多镜头,一个超广角镜头(鱼眼镜头)就可以把所有方向视角信息采集完。
超广角镜头拍摄的航片
那是不是把镜头焦距尽可能地设计短,就万事大吉?
显然不是!先不提超短焦距会导致大畸变的问题,假如将DG3pros的正射镜头焦距设计成10mm,按2cm分辨率采集数据,无人机航飞高度只有51米。
如果无人机搭载这样设计的倾斜相机外出作业,肯定险象环生。
PS:虽然超广角镜头在倾斜摄影建模中使用场景有限,但是对于激光雷达建模却很有实际意义。之前,美国的phoenix激光雷达公司就曾委托睿铂,希望设计一款搭配其激光雷达产品的广角镜头航测相机,用于地物判读和纹理采集。
D3的实测数据让我们认识到,对于倾斜摄影而言,焦距并不能单调追求长或者短。焦距的长短与模型的效果,航飞效率,作业飞行的高度密切相关。
根据《低空数字航空摄影规范》,相对航高的技术公式为:
H=f*GSD/a
H:相对航高
f:摄影镜头的焦距
GSD:影像地面分辨率
a:像元尺寸大小
通过公式我们可知:
相对航高(H)与镜头焦距(f)是正比例函数,影像分辨率(GSD)决定函数的斜率。无论焦距增加或者降低,航飞高度边际变化的效用是不变的。
镜头视场角可以用下列公式表示:
θ=2arctan(d/2f)
θ:镜头视场角(fov)
d:传感器尺寸
f:镜头的等效焦距
通过公式我们可知:
镜头视场角(θ)与镜头焦距(f)是反正切函数,当镜头焦距(f)无限趋近于0,镜头的视场角(fov)接近等于180°,即所谓的鱼眼镜头。
其函数图像为上图所示:当镜头焦距(f)无限大,镜头的视场角(fov)无限小。在镜头焦距较短阶段,函数斜率较大,焦距的变化对模型效果的提升边际效用增大。
在镜头焦距在较长阶段,函数斜率较小,随着焦距无限增加,斜率趋近于0。表示随着焦距的增加,焦距的变化对模型的效果提升边际效用降低。
所以在镜头研发过程中,需要考虑的第一个问题就是:镜头的焦距值应该怎么选取?短焦固然建模效果好,但是航飞高度低,存在极大的安全隐患;为了保证航飞的安全,则必须要把焦距设计长一些,但是盲目拉长焦距,又会影响作业效率和建模效果。
航高与建模效果存在一定的矛盾关系,我们必须在这些矛盾中寻求一个折中点。
基于对这些矛盾因素的综合考虑,在D2、D3的基础上,睿铂研发出了DG3倾斜摄影相机。DG3既兼顾了D2的效果,又兼顾D3的航高,同时还增加了散热和除尘系统,使之也能够在固定翼无人机上使用。
RIY-DG3
DG3是睿铂销售最多的一款倾斜摄影相机,应该也是市面使用最广泛的无人机倾斜摄影相机。
在DG3研发过程中,我们在同一场景中的设置不同参数来测试对比模型效果。在室内,我们也专门设计了模拟测试台。
模拟测试台
D3的应用
D3并非一无是处,它的长焦距镜头使它在以下场景中,有着非常好的建模效果。如自然灾害的滑坡、泥石流这种落差大且非竖直面的场景。还有一些城市高楼场景,为了保证足够的分辨率也只有选择D3。
D3的滑坡场景建模效果
不同场景的特点不一样,为了保证模型效果,要根据具体的环境特点综合考虑到底选取什么设备来完成任务
后记本文后半部分给大家介绍了睿铂D2、D3、DG3三款相机在焦距问题上的研发历程与思考。后续,睿铂将继续介绍为了进一步提高建模效果,pros系列倾斜相机做了哪些改进。
PS:关注睿铂公众号
持续获取更多产品升级、软件技巧、行业前沿技术解析、新产品发布等消息!
- END -
相对精度优于5cm!固定翼、免相控,实景三维农村不动产项目验证
CC(Smart3D)小白入门教程—详细讲解让你上手CC开启建模