洞穿昏暗漆黑，赋能机器视觉！南大研究团队提出“感内动态计算”

  1  

机器在雨雾天“看不见”怎么办？面对在低对比度视觉环境下识别目标的挑战，南京大学物理学院梁世军副教授和缪峰教授领导的团队创新提出了“传感器内动态计算”概念。通过在基于新型材料结构的传感器内集成更多计算与信息处理功能，该技术能够在对比度变化的环境中始终保持对目标的精准识别和高鲁棒追踪。该工作推动了智能机器视觉技术的发展，有望在多个领域内实现其革新应用。

在雨雪大雾天气出行时，路上的行人、非机动车等目标物往往难以分辨，造成交通安全隐患。这是由于在这些特殊气象条件下，来自目标物的光强与周围背景光强非常接近，整体视野内图像的对比度偏低，难以有效识别出目标。类似的情况也发生在夜间等光照条件不理想的场景下，例如在昏暗的走廊与街巷中，来自人和物体的反射光强与周围背景反射光强都比较弱。在上述这些低对比度光学环境下，目标物的轮廓与边缘等关键特征模糊，极大增加了在背景环境中对目标进行有效分辨和识别的难度。

机器视觉是人工智能正在快速发展的一个分支，简单说来就是用机器代替人眼来实现目标识别等功能，在工业自动化、无人驾驶、智慧城市等众多领域有着广泛应用。现有机器视觉系统（前端图像传感器+后端处理器）在低对比度环境下，主要通过在后端软件处理过程中，人为增强图像的对比度来提高目标的区分度，或者通过增加前端传感器内所有像元的感光度和延长曝光时间，这些方式不仅会拖慢速度和引入更多噪声，而且会增加后端算力负担，可谓治标不治本。对此，一个可行的方案是在光电传感器进行探测的同时，就在传感器内部实现对低对比度环境内目标特征的放大与增强，用特征增强后的图像取代原始低对比度图像，这样利用后端处理器或神经网络进行目标识别时，将有望显著提升识别准确率和鲁棒性。

针对上述挑战，南京大学物理学院梁世军副教授、缪峰教授团队通过在传感器内引入更多计算与信息处理功能，首次提出传感器内动态计算范式，推动智能机器视觉技术功能升级与应用拓展。团队通过原理性实验验证，实现了低对比度光学场景下弱目标特征的准确提取，展现了对弱目标的鲁棒、精确的识别与追踪能力。该动态计算范式的硬件实现基于石墨烯/锗异质集成构筑的光电响应度多端口可调控感光器件。通过在相邻器件之间引入信号交互与关联控制，根据图像局域光强梯度动态调控卷积核权重，形成可自适应图像内容的传感器内动态卷积计算单元。

相关研究成果以“In-sensor Dynamic Computing for Intelligent Machine Vision”（面向智能机器视觉的传感器内动态计算）为题于2024年2月8日在线发表在国际电子学领域顶级期刊Nature Electronics 《自然·电子学》上（https://www.nature.com/articles/s41928-024-01124-0）。同期《自然·电子学》“研究简报（Research briefing）”栏目以“Pixel-Correlated Computing for Detecting and Tracking Targets in Dim Lighting（用于弱目标检测与追踪的像素关联计算）”为题，对该研究成果进行了专题报道，评价该工作展示了“一种先进的感内计算技术（an advanced form of in-sensor processing technology）”。由于这类材料与器件的制备均可采用较为成熟的工艺，该技术有望实现大规模芯片级集成与系统级应用。

研究团队在图像传感器内构建了新型“动态卷积”计算单元（如图a）。传统卷积核在滑过整幅图像的过程中，卷积核权值是固定的，不随图像信息进行适应性变化，难以对图像局部特征进行有针对性和特异性处理。与传统卷积操作不同的是，通过传感器硬件构建的局域关联“动态卷积核”，由处于中心的1个动态像元和周围8个静态像元组合而成。其中，静态像元负责感知当前位置图像的局域光强（灰度）变化，例如图像的局域梯度，所有静态像元的光电响应度（权重）是固定且一致的。而动态像元的光电响应度（权重）会随着周围8个静态像元的光电流输出特性（反映了图像的局部特征）进行动态调控。如果检测到此处有较大的局域光强变化，动态像元将调整自身光电响应度使得整个“动态卷积”单元能够主动的根据图像局域信息，进行有选择性和针对性的特征放大与增强。

该“动态卷积”单元的硬件实现是基于多端口可调光电响应特性的石墨烯/锗异质结光电器件。通过外围电路的配合，能够在阵列中的器件之间引入动态信号交互与关联控制。研究团队通过原理性实验，展示了对昏暗走廊中站立的人这个典型弱目标的特征提取效果（如图b）。该动态关联计算范式革新了传统图像传感阵列中每个像元彼此独立工作的静态传感模式，为智能机器视觉系统在复杂与极端光学场景中的弱目标精准探测提供了通用且可行的技术途径。

图 (a) 局域关联感内计算原理示意图以及器件结构示意图；(b) 一种典型场景下弱目标特征提取的实验结果。

- 推荐阅读 -

栋梁特等奖学金 | 做扎根祖国丰壤的书写者，她愿成为“时代洪流中的礁石”！

南大第四！自然指数最新排名公布！

今天，给南大写一封情书

来源 | 南京大学

美编 | 曾曼睿

责编 | 李欣怡