基于BERT-Attention-DenseBiGRU的农业问答社区问句相似度匹配

文献类型： 中文期刊

第一作者： 王郝日钦

作者： 王郝日钦;王晓敏;缪祎晟;许童羽;刘志超;吴华瑞

作者机构：

关键词： 问答社区;农业问句相似度匹配;自然语言处理;密集连接BiGRU;协同注意力机制

期刊名称： 农业机械学报

ISSN： 1000-1298

年卷期： 2022 年 01 期

页码： 244-252

收录情况： EI ; 北大核心 ; CSCD

摘要： 为了解决问答社区中相同语义问句文本的快速自动检测,提出一种基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型。针对农业文本具备的特征,采用12层的中文BERT文本预训练模型对文本数据进行向量化处理,并与Word2Vec、Glove、TF-IDF方法进行对比分析,得出BERT方法能够有效地解决农业文本的高维性和稀疏性问题,并且解决多义词在不同语境下具有不同含义的问题。该网络的每一层都使用注意特征的连接信息以及前面所有递归层的隐藏特征,为了缓解由于密集拼接而导致特征向量尺寸不断增大的问题,在模型的最后使用自动编码器进行特征降维。试验结果表明:基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型可以提高文本特征的利用率,减少特征丢失,能够实现快速及准确的农业问句文本相似度匹配,在本文所构建的农业问句相似对数据集上精确率及F1值达到97.2%和97.6%,与其他6种问句相似度匹配模型相比,效果提升明显。

分类号： S126`TP391.1

  • 相关文献

[1]基于词向量的检索扩展方法与农业领域实证. 吴蕾,梁晓贺,乌吉斯古楞,王瑞. 2019

[2]基于特征增强的多方位农业问句语义匹配. 王奥,吴华瑞,朱华吉. 2023

[3]基于Attention_DenseCNN的水稻问答系统问句分类. 王郝日钦,吴华瑞,冯帅,刘志超,许童羽. 2021

[4]基于卷积模型的农业问答语性特征抽取分析. 张明岳,吴华瑞,朱华吉. 2018

[5]基于词性标注规则的马铃薯文献信息抽取方法. 王腾阳,赵小丹,胡林. 2023

[6]面向农业图书资源语义挖掘的主题模型应用设计研究. 龚浩,崔运鹏,钱平. 2018

[7]地理标志农产品品牌管理政策注意力分析模型构建及应用. 霍梦佳,刘娟,黄杰. 2023

[8]农业文本语义理解技术综述. 吴华瑞,郭威,邓颖,王郝日钦,韩笑,黄素芳. 2022

[9]基于深度学习的自然语言处理技术的发展及其在农业领域的应用. 崔运鹏,王健,刘娟. 2019

[10]面向中文科学数据集的句子级语义匹配模型. 刘建平,初新涛,王健,顾勋勋,王萌,王影菲. 2024

[11]基于大语言模型的智能问答系统研究综述. 任海玉,刘建平,王健,顾勋勋,陈曦,张越,赵昌顼. 2025

[12]基于GTM和指标评估的技术机会智能识别与预测方法. 张辉,姚茹,赵静娟,贾倩,齐世杰,串丽敏. 2025

作者其他论文 更多>>

微信小程序