文献类型： 中文期刊

作者： 胡学龙 ¹ ; 朱文韬 ¹ ; 杨信廷 ² ; 王丁弘 ² ; 潘良 ² ; 曾昱皓 ² ; 周超 ² ;

作者机构： 1.扬州大学信息工程学院

2.北京市农林科学院信息技术研究中心

关键词： 渔业;养殖;循环水;多模态融合;自适应;摄食强度

期刊名称： 农业工程学报

ISSN： 1002-6819

年卷期： 2023 年 39 卷 010 期

页码： 141-150

收录情况： EI ; 北大核心 ; CSCD

摘要： 在工厂化循环水养殖中,准确识别鱼类摄食强度是实现精准投喂的前提和关键.水质、视觉、声音等单模态数据均可用于评估摄食强度,但单一模态往往具有片面性,难以完全反映全局特征,存在识别精度低、可移植性差等问题.多模态方法通过融合不同模态的特征,可为摄食强度量化提供新的手段.基于此,为融合鱼类摄食中的"水质-声音-视觉"信息,实现高精度的鱼类摄食强度量化,该研究在多模态Transformer(multimodal transformer,MulT)的基础上,提出一种多模态融合的鱼类摄食强度识别算法Fish-MulT.首先,从输入的水质、声音和视觉数据中提取特征向量;其次,利用多模态转移模块(multimodal transfer module,MMTM)对输入的特征向量进行融合,得到3种融合向量;然后对融合向量添加自适应权重并相加,得到融合模态;最后,利用融合模态将MulT算法中各模态分支的跨模态Transformer(cross-modal transformer)从2个优化为1个.试验结果表明,与MulT算法相比,该研究算法的鱼类摄食强度识别准确率由93.30%提高到95.36%,参数量减少38%.与水质、声音和视觉单模态相比,准确率分别提高68.56、21.65和3.61个百分点.可用于制定精准投喂策略,并为开发智能投喂系统提供技术支持.