近日，中国科学院合肥物质院智能所农业大模型与具身智能研究团队在中药材智能除草机器人领域取得新进展，提出一种深度引导的RGB-D目标检测框架，可实现中药材田间杂草的精准识别与定位。相关研究成果发表在Artificial Intelligence in Agriculture上。
当前中药材田间杂草管理仍以人工为主，劳动强度大、成本高。以芍药为代表的中药材是多年生丛状作物，杂草与中药材形态接近、密度高且相互遮挡，光照条件复杂多变，属典型非结构化田间场景。现有方法多依赖可见光单模态，在复杂田间场景下特征辨识能力受限，难以满足除草机器人的精准作业需求。
针对上述问题，研究团队搭建除草机器人平台，构建了包含约4.7万个标注实例的标准化RGB-D数据集，并提出一种端到端的RGB-D目标检测框架—FW-DETR。该框架设计了跨模态分层特征交互模块（CM-HFI）作为 RGB-D 特征编码器，二者协同实现多尺度双模态特征的高效交互与融合；引入跨模态级联注意力模块（CM-CAM），采用分组级联机制将空间几何先验显式嵌入高层语义表示，缓解遮挡与杂乱背景下的特征歧义，提升关键区域的定位精度；结合模型预测结果与杂草形态特征，构建了基于距离变换与中心先验加权的除草作业点定位策略，提升杂草不规则形态和相互遮挡条件下的精准定位能力。实验结果表明，算法在保持计算效率的同时，在复杂的田间环境下检测精度mAP0.5达到84.4%，优于RT-DETR、YOLOv12L等先进检测模型。所生成的作业点定位精度达毫米级，满足田间精准除草的作业要求。
该研究为中药材田间智能除草装备的研发提供了可靠的杂草检测基础，提出的RGB-D感知框架具有良好的可扩展性，可为其他中药材及经济作物的精准田间管理提供新的技术路径。
博士研究生张玮为论文第一作者，黄河研究员为指导老师，孙友强副研究员、张俊卿副研究员为论文通讯作者。该研究得到安徽省发改委重大产业创新计划、安徽省重点研发计划等的支持。
图1. 中药材田间杂草检测技术路线
