您好，欢迎访问黑龙江省农业科学院 机构知识库！
黑龙江省农业科学院机构知识库

全部

  • 全部
  • 标题
  • 学者
  • 机构
  • 关键词

网络爬虫技术在农业生产数据获取中的研究和应用

文献类型： 中文期刊

作者： 王晓楠 1 ; 李杨 1 ; 张海峰 1 ; 张宇 2 ; 杨雪峰 1 ;

作者机构： 1.黑龙江省农业科学院农业遥感与信息研究所

2.黑龙江省农业科学院作物资源研究所

关键词： 爬虫;分布式;Nutch框架;二级哈希

期刊名称： 农业工程技术

ISSN： 1673-5404

年卷期： 2021 年 41 卷 003 期

页码： 49-51

摘要： 该文从各大网页中采集到农作物生长信息的数据,特征数据主要包括农作物生长信息、种植环境、生长周期等.为了更好地完成网络爬取的任务,收集到更多符合条件的网页信息,该文主要运用架构方式实现农作物生长数据的爬取,采用Nutch框架实现分布式网络爬虫,并运用二级哈希算法完成两次URL映射计算.实验结果表明,随着时间的推移,相对于单机,分布式网络爬取能够获取更大的数据信息量,工作效率更高.

  • 相关文献
作者其他论文 更多>>
置顶
购物车
反馈

© 京ICP备09089781号-29 主办单位：黑龙江省农业科学院

学术资源： 中国农业科学院 农业专业知识服务系统 农科联盟资源共建共享平台 中国农业科技文献与信息服务平台 中国农业期刊集成服务平台