大象机器人第二代人工智能套装！深度学习协作机器人、先进机器视觉与应用场景

Robospeak 机器人大讲堂 2023-05-14

收录于合集

2023 年1月18日，工业和信息化部、教育部等十七部门印发《“机器人+”应用行动实施方案》（以下简称《方案》）。

《方案》提出，研制交互、教学、竞赛等教育机器人产品及编程系统，分类建设机器人服务平台。加大机器人教育引导，完善各级院校机器人教学内容和实践环境，针对教学、实训、竞赛等场景开发更多功能和配套课程内容。强化机器人工程相关专业建设，提升实验机器人产品及平台水平，加强规范管理。推进5G、人工智能、智能语音、机器视觉、大数据、数字孪生等技术与机器人技术融合应用，积极培育机器人校园服务新模式和新形态，深化机器人在教学科研、技能培训、校园安全等场景应用。

为响应国家大力发展新工科的号召，为高职、本科等院校的机器人与人工智能相关专业的学习和教育提供全面、良好的条件，大象机器人推出了一套基于视觉识别+机械臂的整体解决方案-人工智能套装 2023版，实现从识别到分拣的全自动化作业，并期望最终携手用户一起打造产学研的闭环，形成高质量的新工科人才培养体系，助力国家科技教育的向前发展。

在已部署数千套第一代人工智能套装后，历经2年研发，人工智能套装 2023版全新升级，

● 5大视觉识别算法

● 6种适配机械臂

● 7大硬件升级

● 8大机器人学习点！

并支持可视化软件，是定位抓取、自动分拣模块为一体的入门级人工智能套装。基于python平台，可通过开发软件实现机械臂的控制，简单易学，能够快速入门学习人工智能基础知识，启发创新思维，领悟开源创意文化。

本套装扩展性好，开放性高，可以被用于多种用途。可易用高校实训平台、机器人学科搭建、机器人实验室或个人学习与使用。

2023

产品特点

五大视觉识别算法

机器视觉是用机器来代替人眼进行目标对象识别、判断和测量的技术。机器视觉通过计算机模拟人的视觉功能，主要技术涉及目标图像获取技术、图像信息处理技术、目标对象测量与识别技术。典型机器视觉系统主要由视觉感知单元、图像信息处理与识别单元、处理结果显示单元和视觉系统控制单元组成。

颜色识别

颜色识别能力可以对输入图片的颜色信息进行分析，输出颜色值（RGB形式和HEX格式）与对应的占比信息。

人工智能套装 2023版使用eye-to-hand的模式，使用摄像头，通过OpenCV进行颜色定位，并将符合情况的颜色物块框出，通过相关点位计算出物块相对于机械臂的空间坐标位置。为机械臂设置一套相关动作，根据识别的物块颜色不同放置不同的物料框中。

形状识别

物体的形状识别是模式识别的重要方向，在计算机中物体的形状有多种表示方式，基于不同的形状表示方式，提出了多种形状识别方法，如基于傅里叶描述子、主分量分析、不变性距等方法。在形状识别中，识别所基于的模式特征非常重要。

形状识别的一般流程：形状提取、形状特征提取和分类识别。

特征点识别

FAST角点检测，通过考察像素点与周围领域内的16个像素点的差异来确定特征点，并且通过分割测试算法对检测效率做了极大的提升。

图像特征点带你学习图像分割、保存图片特征。

yolov5识别

传统的目标检测系统利用分类器来执行检测。为了检测对象，这些系统在测试图片的不同位置不同尺寸大小采用分类器对其进行评估。如目标检测系统采用deformable parts models (DPM)方法，通过滑动框方法提出目标区域，然后采用分类器来实现识别。近期的R-CNN类方法采用region proposal methods，首先生成潜在的bounding boxes，然后采用分类器识别这些bounding boxes区域。最后通过post-processing来去除重复bounding boxes来进行优化。这类方法流程复杂，存在速度慢和训练困难的问题。

大象机器人将目标检测问题转换为直接从图像中提取bounding boxes和类别概率的单个回归问题，只需一眼（you only look once，YOLO）即可检测目标类别和位置。

AR二维码识别

在特征提取模块中，大象机器人使用纹理特征提取算法从原始输入图像中提取出多分辨率直方图特征、局部二值模式特征和边缘方向直方图特征，这三种纹理特征的表达形式均为一维数组。他们将这 3 个数组连接为 1 个一维数组，作为后续分类模块的输入。

四种ID二维码识别学习二维和三维世界之间的投影关系。

高精度相机

提供完整的视觉硬件设备，相机能够实时的“看到”工件所处的位置以及姿态，自动判断得到下一个抓取的工件信息。机械臂系统根据相机的分析结果，自动规划路径并同时避开障碍物实现对工件的抓取。

支持相机光源调整，对反光、暗色等金属件，紧密贴合或随意摆放物件均可有效识别相机点云成像细腻，抓取精度高，引导精准，高效准确的完成引导操作，抓取精度可到0.5mm。

六种适配机械臂

适配6种桌面级小型机械臂-M5Stack和树莓派版本，采用高度集成的伺服单元，在融合机械臂的基础原理的同时，精简结构设计，方便进行课程教学。

（M5版本和树莓派版本）

可视化软件

支持可视化软件操作，可以选择对应视觉算法，全自动识别抓取放置，方便观看效果展示，并且支持分步运行，可以只识别、只抓取、只放置，让用户理解每一过程原理。同时，可以通过图形化的方式，实时显示坐标信息，物体定位坐标与机械臂实时坐标；显示物体识别信息，比如形状识别三角形，会显示形状为三角形。

总而言之，帮助用户实现所有可监测信息的图形化显示，用户也可以在软件控制界面下，修改XY坐标，完成精准抓取。

开源软件系统ROS

软件系统基于开源机器人操作系统ROS进行架构设计，方便利用各种人工智能开源资源，开发如视觉抓取、3D感知场景规划等智能化应用。

2023

机械臂视觉抓取过程

手眼标定

手眼标定即相机内参和外参的标定，用于矫正图像和后续数据推算。内参即与相机安装位置无关的本身硬件参数（如焦距、像素大小等），内参标定功能包为 camera-calibration ；外参即相机在世界坐标系中的参数（如相机的位置、旋转方向等），外参标定的功能包easy_handeye 。

实现物体识别与定位

视觉抓取的第一步自然是对于目标物体的识别和定位，目前可以借助开源视觉库Opencv的内置库以及ROS开源包进行实现。不论是通过二维图像的深度信息或是物体的颜色形状还是三维点云的识别分析，相机需要传回目标物体在世界坐标系中的位置和姿态。

对于物体的识别分析，后续可以进一步采用机器学习 / 深度学习的方法。

计算位置坐标

计算位置坐标，需要根据上一步相机返回物体的像素中心点坐标，再根据抓取区域中心点相对于机械臂坐标和可识别物体相对与机械臂的坐标，以及两个aruco二维码的相关距离数值，推算出机械臂抓抓取物体的坐标。