基于参数高效微调的跨模态枸杞虫害识别模型D-PAG

文献类型： 中文期刊

第一作者： 邢嘉璐

作者： 邢嘉璐;刘建平;周国民;刘立波;王健

作者机构：

关键词： 枸杞;虫害识别;参数高效微调;大模型;CLIP

期刊名称： 农业大数据学报

ISSN： 2096-6369

年卷期： 2024 年 6 卷 004 期

页码： 509-521

摘要： 随着多模态基础模型（大模型）的发展，如何高效地将其迁移到特定领域或任务中成为目前的热点、难点问题。该研究以多模态大模型CLIP为基础模型，使用参数高效微调方法 Prompt、Adapter将CLIP迁移到枸杞虫害识别任务中，提出了用于枸杞虫害识别的跨模态参数高效微调模型D-PAG。D-PAG模型首先在CLIP编码器的输入层或隐层中嵌入了可学习的Prompt与Adapter，用于训练，学习虫害特征；然后利用门控单元将Prompt、Adapter集成到CLIP编码器网络中，平衡两者对特征提取的影响大小，在Adapter中设计了GCS-Adapter注意力用以加强跨模态语义信息融合。为了验证方法的有效性，在枸杞虫害数据集和细粒度数据集IP102上进行了实验。验证实验结果表明，在枸杞数据集上仅用20%样本数量训练便可达到98.8%的准确率，使用40%样本数量训练准确率达到了99.5%；在IP102上验证，准确率达到75.6%，与ViT持平。该方案可在少样本条件下，通过引入极少额外参数，将多模态大模型基础知识高效迁移到特定虫害识别领域，为高效使用大模型解决农业图像处理问题提供了新的技术方案。

分类号： S435.671%TP391.41%TP18

  • 相关文献

[1]基于Mask R-CNN模型的虫害识别方法研究. 张耀丽,许宁,宋裕民,康建明,张国海,孟庆山. 2023

[2]农业大模型:关键技术、应用分析与发展方向. 郭旺,杨雨森,吴华瑞,朱华吉,缪祎晟,顾静秋. 2024

[3]基于人工智能大模型技术的果蔬农技知识智能问答系统. 王婷,王娜,崔运鹏,刘娟. 2023

[4]作物农艺性状与形态结构表型智能识别技术综述. 张建华,姚琼,周国民,吴雯迪,修晓杰,王健. 2024

[5]大模型在设施蔬菜智能化生产中的应用. 吴华瑞,李晓锁. 2024

[6]枸杞原生质体培养及高效成株体系的建立. 曹有龙,许兴,宋玉霞,曲玲,罗青. 2001

[7]转基因枸杞研究中的问题探讨. 曲玲,吴博,曹有龙,罗青. 2001

[8]枸杞采后病害及主要病原真菌的分离与鉴定. 兰璞,高芙蓉,陈存坤,王文生,韩洁,纪海鹏,于晋泽. 2014

[9]外源甜菜碱对盐胁迫枸杞生长及膜脂过氧化的影响. 惠红霞,许兴,李前荣. 2004

[10]液压折叠式铺膜铺管机的设计. 蒋德莉,房硕,任志强,田宇. 2017

[11]复合果酒发酵工艺的研究. 栗亚男,宋慧,强阿娟,苏博,张红雨,李超. 2014

[12]山楂枸杞乳复合保健饮料的组方筛选. 涂宝军,张伟伟. 2014

[13]有机磷农药在枸杞干果中残留量的测定方法研究. 苟金萍,张艳,程淑华,王晓菁. 2004

[14]枸杞6、7月果多糖含量差异性分析. 马海财,刘生祥,叶立勤. 2007

[15]枸杞4大病虫害的遥感近地高光谱特征. 马菁,张学俭. 2016

[16]枸杞质量安全存在的问题及对策. 苟金萍,宋奎奇. 2005

[17]枸杞花药培养体系优化. 钱春艳,曹有龙,段安安,周军. 2010

[18]壳聚糖涂膜对枸杞低温贮藏效果的影响. 李树萍,曹有龙,王俊,米海莉,王淑艳. 2011

[19]22份枸杞属种质的RAPD分析. 张波,李敦,戴国礼,曹有龙,赵建华. 2012

[20]枸杞雌、雄配子DNA含量与细胞周期变化的初步研究. 邓桦,宋玉霞,秦肯,田惠桥. 2012

作者其他论文 更多>>

微信小程序