基于RoFormer预训练模型的指针网络农业病害命名实体识别

文献类型： 中文期刊

第一作者： 王彤

作者： 王彤;王春山;李久熙;朱华吉;缪祎晟;吴华瑞

作者机构：

关键词： 农业病害;命名实体识别;实体嵌套;RoFormer预训练模型;指针网络

期刊名称： 智慧农业(中英文)

ISSN： 2096-8094

年卷期： 2024 年 6 卷 002 期

页码： 85-94

收录情况： CSCD

摘要： [目的/意义]针对实体嵌套、实体类型混淆等问题导致的农业病害命名实体识别(Named Entities Recog-nition,NER)准确率不高的情况,以PointerNet为基准模型,提出一种基于RoFormer预训练模型的指针网络农业病害NER方法RoFormer-PointerNet.[方法]采用RoFormer预训练模型对输入的文本进行向量化,利用其独特的旋转位置嵌入方法来捕捉位置信息,丰富字词特征信息,从而解决一词多义导致的类型易混淆的问题.使用指针网络进行解码,利用指针网络的首尾指针标注方式抽取句子中的所有实体,首尾指针标注方式可以解决实体抽取中存在的嵌套问题.[结果和讨论]自建农业病害数据集,数据集中包含2 867条标注语料,共10 282个实体.为验证RoFormer预训练模型在实体抽取上的优越性,采用Word2Vec、BERT、RoBERTa等多种向量化模型进行对比试验,RoFormer-PointerNet与其他模型相比,模型精确率、召回率、F1 值均为最优,分别为87.49%,85.76%和86.62%.为验证RoFormer-PointerNet在缓解实体嵌套的优势,与使用最为广泛的双向长短期记忆神经网络(Bi-directional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)模型进行对比试验,RoFormer-PointerNet比RoFormer-BiLSTM模型、RoFormer-CRF模型和RoFormer-BiLSTM-CRF模型分别高出4.8%、5.67%和3.87%,证明用指针网络模型可以很好解决实体嵌套问题.最后验证RoFormer-PointerNet方法在农业病害数据集中的识别性能,针对病害症状、病害名称、防治方法等8类实体进行了识别实验,本方法识别的精确率、召回率和F1值分别为87.49%、85.76%和86.62%,为同类最优.[结论]本研究提出的方法能有效识别中文农业病害文本中的实体,识别效果优于其他模型.在解决实体抽取过程中的实体嵌套和类型混淆等问题方面具有一定优势.

分类号： S126%TP182

  • 相关文献

[1]基于连续提示注入与指针网络的农业病害命名实体识别. 王春山,张宸硕,吴华瑞,朱华吉,缪祎晟,张立杰. 2024

[2]农业主要病害检测与预警技术研究进展分析. 王翔宇,温皓杰,李鑫星,傅泽田,吕雄杰,张领先. 2016

[3]融合RoBERTa-WWM和全局指针网络的农业病害实体关系联合抽取研究. 王彤,张立杰,王铭,吴华瑞,朱华吉,杨英茹,王春山. 2024

[4]环介导等温扩增技术在农业病害检测中的应用综述. 王一波,孙泓希,史普想,孙继军,韩宁,任亮,张丽丽,王海新. 2024

[5]基于注意力机制的农业文本命名实体识别. 赵鹏飞,赵春江,吴华瑞,王维. 2021

[6]基于深度学习的方志物产资料实体自动识别模型构建研究. 徐晨飞,叶海影,包平. 2020

[7]基于深度学习的细粒度命名实体识别研究-以番茄病虫害为例. 任妮,鲍彤,沈耕宇,郭婷. 2021

[8]基于人工智能大模型技术的果蔬农技知识智能问答系统. 王婷,王娜,崔运鹏,刘娟. 2023

[9]基于ERNIE-BiLSTM-CRF模型的土壤肥力命名实体识别研究. 周乐乐,陈磊,季丰,任竹,刘楠楠. 2023

[10]面向葡萄知识图谱构建的多特征融合命名实体识别. 聂啸林,张礼麟,牛当当,吴华瑞,朱华吉,张宏鸣. 2024

[11]基于词向量+BiLSTM+CRF的农业技术需求文本实体提取. 宋林鹏,刘世洪,王翠. 2021

作者其他论文 更多>>

微信小程序