Apollo问答丨Apollo是如何把激光感知结果投影到Dreamview的?
可以按照这个逻辑:感知出来的结果有绝对坐标或者相对车辆的相对坐标,然后通过这个坐标,加上Camera 的参数矩阵,应该就可以做投影了。——@唐赟
投影3D到2D和Dreamview 没关系 和相机内参 外参 激光外参 有关系。Dreamview是基于three.js 即opengl ES2 标准接口在浏览器完成渲染。生成图像数据后通过GL接口显示即可。投影需要首先对齐坐标系时间和外参数变换一般是IMU,转换到相机空间,再通过内参转换到相机投影平面,根据投影模型,检测Z值和相机矩形框,觉得是否可以被相机看见。最后将生成好的图像矩阵数据上传到GL渲染窗口即可。——@王翼
点云投影到Dreamview和投影到相机图像,我认为本质是一样的,就是3D点从激光坐标系变换到相机坐标系(3D到3D),再到像素坐标系(3D到2D)的过程。区别在于,Dreamview里面的相机是虚拟相机,虚拟相机内外参由Dreamview指定,渲染的方式用WebGL实现;而投影到图像上的内外参由实际相机决定,点云渲染到图像上一般要自己写代码实现,比如Autoware里面的Points2image就是实现这个功能的。——@卢飞腾
Dreamview实现是用的threeJS封装的相机模型,Dreamview里的场景都是将多感知结果转换到同一坐标系下构建出来的。Dreamview的相机位置和朝向是可以变的,要把激光投影到图像就是把激光雷达坐标系下的点云转换到相机的二位坐标系,需要知道激光雷达和相机的相对关系,而且激光雷达和相机的采样点不对齐,所以需要IMU信息进行融合。——@冯润泽
I want to test apollo perception with my usb webcam. I updated the video feed with /dev/video2 and I'm having issues trying to get any camera feed in dreamview. I'm close because the camera lights up when I run the start command for camera however there is no feed in dreamview. After I get this running I want to run apollo on camera's and radar only after I get perception test.——@Jon
可以先看看Cyber Monitor 有没有数据。另外建议使用Apollo5.5以下版本。——@唐赟
请教下,这个动态库由哪些函数编译过来?module_library : "/apollo/bazelbin/modules/perception/onboard/component/libperception_component_camera.so"——@Hamilton
直接看BUILD 文件即可。——@唐赟
Apollo D kit车通电后一直有滴滴响,底盘控制如何刷新?——@风起云涌
刷新一下底盘伺服控制。——@童言
修改这段代码可以实现改变RoutingLine的颜色和宽度,但是为什么通过对pathMesh.visible直接赋值为true,实现RoutingLine的一直显示呢?——@田使的翅膀
这个应该不是一直显示,这个只是一个显示Routing图层的开关,至于显示不显示还是要看有没有触发Routing。——@王方浩
本周积分榜新鲜出炉,快看看自己有没有上榜吧,第一名记得找小哥哥领奖哦~
问答积分榜
微信昵称 | 提问积分 | 回答积分 | 总积分 |
洋~ | 30 | 30 | |
Jon | 5 | 20 | 25 |
王翼 | 20 | 20 | |
少帅 | 20 | 20 | |
龙舟@万集科技 | 20 | 20 | |
jhon | 20 | 20 | |
虫二 | 15 | 15 | |
lufeiteng | 5 | 10 | 15 |
猴子 | 5 | 10 | 15 |
唐赟 | 10 | 10 | |
魂石Simon | 10 | 10 | |
吴福刚 | 10 | 10 | |
冯润泽 | 10 | 10 | |
DrWangKL | 10 | 10 | |
一小点点 | 10 | 10 | |
孙晓伟-深圳-计算机 | 10 | 10 | |
Donkey-SC | 10 | 10 | |
苏格拉·笛 | 10 | 10 |
各位技术大牛也可以直接在开发者技术交流群或者小程序问答版块回答问题获得相应积分,参加社区布道师评选,为开发者答疑解惑,更有机会获得小灶辅导~
报名可戳:社区布道师参与评选。