基于改进YOLOv8s与RGB-D信息融合的番茄采摘机器人识别与定位方法

文献类型： 中文期刊

第一作者： 樊湘鹏

作者： 樊湘鹏;张岩琪;周硕;任美飞;王雨薇;柴秀娟

作者机构：

关键词： 采摘机器人;识别定位;YOLOv8s;RGB-D;融合感知;番茄抓取

期刊名称： 农业工程学报

ISSN： 1002-6819

年卷期： 2025 年 41 卷 015 期

页码： 106-116

收录情况： EI ; 北大核心 ; CSCD

摘要： 采摘机器人视觉感知系统是完成选择性收获的基本条件。针对在非结构设施环境中番茄特定种植模式约束下，现有采摘机器人果实识别与定位精度低导致的采收成功率不高等问题，该研究面向番茄采摘机器人性能提升，在自建数据集基础上，提出一种基于改进YOLOv8s和RGB-D多源信息融合感知的番茄采摘机器人识别与定位方法。首先，利用空间重构卷积单元和通道重构卷积单元进行串联组合构建空间和通道重建卷积结构实现轻量化目标；然后，在YOLOv8s颈部结构中引入SimAM三维注意力机制，使模型更加关注复杂环境下番茄的关键特征；最后使用MPDIoU损失改进损失函数，解决因果实重叠导致的检测帧失真问题，减少番茄的漏检现象。结果表明，相比于原始YOLOv8s模型，改进模型的平均精度均值(mAP50)由91.49%增加到95.81%，模型大小由22.5 M减小到17.6 M，推理时间也从10.6 ms减少到8.7 ms，与YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9和YOLOv10系列模型相比，改进的YOLOv8s模型在识别精度、检测速度和计算效率上具有明显优势。在改进YOLOv8s模型基础上，将RGB图像与Depth图像信息配准并融合获取番茄中心点在空间中的位置坐标，利用RealSense D435 RGB-D相机和NVIDIA Jetson AGX Orin边缘设备构建视觉感知决策系统，自主开发了番茄采摘执行系统，并开展了定位精度和采摘抓取试验。单帧图像平均耗时50 ms，采摘抓取成功率为94.73%，损伤率仅为4.17%。该研究有效解决了果实采收机器人视觉感知环节面临的技术挑战，并且适合在性能受限设备上部署应用，可为番茄等果实采收机器人识别与定位提供关键技术支撑。

分类号： S225.92%TP391.41%TP242

  • 相关文献

[1]基于脸部RGB-D图像的牛只个体识别方法. 刘世锋,常蕊,李斌,卫勇,王海峰,贾楠. 2023

[2]基于改进YOLOv8s的大田甘蓝移栽状态检测算法. 吴小燕,郭威,朱轶萍,朱华吉,吴华瑞. 2024

[3]林果采摘机器人研究现状与展望. 史孝杰,王树城,刘惠敏,王少伟,曲慧星,李宁,吴杰,杨化伟. 2024

[4]多源信息融合下冷链配送车辆碳排放动态预测方法. 杨 霖,刘 双印,徐 龙琴,赫 敏,绳 庆峰,韩 佳伟. 2024

[5]苹果在线分级系统设计与试验. 张庆怡,顾宝兴,姬长英,方会敏,郭俊,沈文龙. 2017

[6]温室黄瓜采摘机器人系统研制及性能分析. 纪超,冯青春,袁挺,谭豫之,李伟. 2011

[7]番茄采摘机器人系统设计与试验. 王晓楠,伍萍辉,冯青春,王国华. 2016

[8]基于混合蛙跳优化的采摘机器人相机标定方法. 陈科尹,邹湘军,关卓怀,王刚,彭红星,吴崇友. 2019

[9]黄瓜自动化栽培系统研究进展. 陈玉梅,申允德,张成浩. 2019

[10]基于半实物仿真的采摘机器人视觉定位研究. 陈科尹,邹湘军,彭红星,梁海英,胡元闯. 2017

[11]柑橘采摘机器人目标检测算法研究进展. 郑涵,罗强,张益维,曹中华. 2022

[12]基于改进YOLOv5l的设施番茄3D信息检测方法. 林森,许童羽,葛禹豪,马璟,孙添龙,赵春江. 2024

[13]果园采摘机器人研究综述. 李会宾,史云. 2019

[14]柑橘采摘机器人末端执行器发展趋势. 李志鑫,张俊,胡栋,俞烁辰,李辉. 2024

[15]荔枝机械化收获关键技术研究进展. 季超,邓怡国,燕波,王业勤,陈沛民. 2025

[16]基于改进YOLOv8n的茶树嫩芽识别. 杨肖委,沈强,罗金龙,张拓,杨婷,戴宇樵,刘忠英,李琴,王家伦. 2024

[17]驱控一体的旋拧式果实采摘执行器设计与试验. 严童杰,冯青春,郭鑫,杨宁. 2025

作者其他论文 更多>>

微信小程序