您好,欢迎访问北京市农林科学院 机构知识库!

采用双模态联合表征学习方法识别作物病害

文献类型: 中文期刊

作者: 王春山 1 ; 赵春江 2 ; 吴华瑞 2 ; 周冀 1 ; 李久熙 3 ; 朱华吉 2 ;

作者机构: 1.北京农业信息技术研究中心

2.河北农业大学信息科学与技术学院

3.河北农业大学机电工程学院

关键词: 模型;病害;双模态;联合表征学习;少样本;开放环境;病害识别

期刊名称: 农业工程学报

ISSN: 1002-6819

年卷期: 2021 年 37 卷 011 期

页码: 180-188

收录情况: EI ; 北大核心 ; CSCD

摘要: 基于深度卷积神经网络的视觉识别方法在病害诊断中表现出色,逐渐成为了研究热点.但是,基于深度卷积神经网络建立的视觉识别模型通常只利用了图像模态的数据,导致模型的识别准确率和鲁棒性,都依赖训练数据集的规模和标注的质量.构建开放环境下大规模的病害数据集并完成高质量的标注,通常需要付出巨大的经济和技术代价,限制了基于深度卷积神经网络的视觉识别方法在实际应用中的推广.该研究提出了一种基于图像与文本双模态联合表征学习的开放环境下作物病害识别模型(bimodalNet).该模型在病害图像模态的基础上,进行了病害文本模态信息的嵌入,利用两种模态病害信息间的相关性和互补性,实现了病害特征的联合表征学习.最终bimodalNet在较小的数据集上取得了优于单纯的图像模态模型和文本模态模型的效果,最优模型组合在测试集的准确率、精确率、灵敏度、特异性和F1值分别为99.47%、98.51%、98.61%、99.68%和98.51%.该研究证明了利用病害图像和病害文本的双模态表征学习是解决开放环境下作物病害识别的有效方法.

  • 相关文献
作者其他论文 更多>>