基于Scrapy的农业网络数据爬取

文献类型： 中文期刊

第一作者： 李乔宇

作者： 李乔宇;尚明华;王富军;刘淑云

作者机构：

关键词： Scrapy;爬虫;网络数据;数据挖掘;玉米价格

期刊名称： 山东农业科学

ISSN： 1001-4942

年卷期： 2018 年 01 期

页码： 142-147

摘要： 准确、及时、高效地获取农业数据是全产业链农业信息分析预警工作的前提和基础,是提升农业信息分析预警专业化和规范化水平的关键。本研究针对互联网中存在的大量农业信息数据,以玉米价格数据为例,设计数据抓取和规范化存储策略,首先基于Scrapy框架建立对网页的请求响应,分析网页布局后对关键信息进行循环抓取,并利用正则表达式将抓取的信息提取为格式化数据,然后将数据本地化存储为Microsoft Excel表格或存储至数据库中,最后利用Echarts将数据以可视化的方式在Web端展示,从而实现对农业网络数据的挖掘和利用。

分类号： TP393.092

  • 相关文献

[1]基于遗传算法的主题信息搜索系统研究. 罗长寿,康丽,刘国靖. 2009

[2]基于查准率的网页信息搜索技术研究分析. 罗长寿,孙素芬,张峻峰,于峰,刘月仙. 2007

[3]网络爬虫技术在农业生产数据获取中的研究和应用. 王晓楠,李杨,张海峰,张宇,杨雪峰. 2021

[4]农业信息资源整合系统研究与应用. 孙素芬,罗长寿,张峻峰,于峰,张树亮. 2007

[5]基于概念空间的领域信息爬虫设计研究. 谢能付,王文生,段延娥. 2008

[6]吉林省玉米价格波动及其影响因素分析. 宫斌斌,刘文明,杨宁,刘帅. 2017

[7]吉林省玉米价格与生猪价格传导关系的实证研究. 田帅,刘帅,余晓洋,刘文明. 2017

[8]基于时间序列SVR模型的玉米价格预测研究. 张宝文,王川,杨春英,王来刚. 2020

[9]基于价格视角的我国玉米临时收储政策效果研究. 纪媛,张蕙杰. 2018

[10]临储制度退出对玉米产业链的影响分析. 蔡鸿毅,彭家乐,刘合光. 2017

[11]我国饲料粮价格的非线性关系研究-以玉米、大麦为例. 刘婧怡,李先德. 2023

[12]中国主要省份玉米价格的传导效应分析. 贾伟,秦富. 2012

[13]2010年饲料市场分析与展望. 张峭,徐磊. 2011

[14]供给侧改革背景下我国玉米价格走势预测. 韩振,杨春. 2017

[15]收储制度改革后我国玉米价格影响因素分析:基于VAR模型. 朱之洵,李干琼. 2024

[16]农业资源属性数据挖掘研究. 胡为群,祝利莉,郑可锋,叶少挺,朱旭斌. 2006

[17]抑制小白菜、菜心硝酸盐积累的栽培技术研究. 李群,潘大丰,陕方,周向阳,张兵,金肇熙,王多加,钟娇娥. 2005

[18]农业环境信息数据分析中数据挖掘技术的应用. 郑向群,高怀友,周军,王菲,王跃华,赵玉杰. 2003

[19]决策树在人力资源管理中的应用研究. 孙华,李义杰,李清江. 2007

[20]基于数据仓库的土壤环境监测综合挖掘模型构架. 郑向群,赵政,刘东生. 2008

作者其他论文 更多>>

微信小程序