文献类型： 中文期刊

作者： 王春山 ¹ ; 张宸硕 ¹ ; 吴华瑞 ¹ ; 朱华吉 ¹ ; 缪祎晟 ¹ ; 张立杰 ¹ ;

作者机构： 1.河北农业大学信息科学与技术学院;国家农业信息化工程技术研究中心;农业农村部农业信息化技术重点实验室;河北农业大学机电工程学院;河北省农业大数据重点实验室

关键词： 农业病害;命名实体识别;连续提示;指针网络;嵌套实体;预训练语言模型

期刊名称： 农业机械学报

ISSN： 1000-1298

年卷期： 2024 年 06 期

页码： 254-261

收录情况： EI ; 北大核心 ; CSCD

摘要： 针对农业病害领域命名实体识别过程中存在的预训练语言模型利用不充分、外部知识注入利用率低、嵌套命名实体识别率低的问题，本文提出基于连续提示注入和指针网络的命名实体识别模型CP-MRC(Continuous prompts for machine reading comprehension)。该模型引入BERT(Bidirectional encoder representation from transformers)预训练模型，通过冻结BERT模型原有参数，保留其在预训练阶段获取到的文本表征能力；为了增强模型对领域数据的适用性，在每层Transformer中插入连续可训练提示向量；为提高嵌套命名实体识别的准确性，采用指针网络抽取实体序列。在自建农业病害数据集上开展了对比实验，该数据集包含2 933条文本语料，8个实体类型，共10 414个实体。实验结果显示，CP-MRC模型的精确率、召回率、F1值达到83.55%、81.4%、82.4%,优于其他模型；在病原、作物两类嵌套实体的识别率较其他模型F1值提升3个百分点和13个百分点，嵌套实体识别率明显提升。本文提出的模型仅采用少量可训练参数仍然具备良好识别性能，为较大规模预训练模型在信息抽取任务上的应用提供了思路。