基于Hadoop的气象大数据分析GIS平台设计与试验

文献类型： 中文期刊

第一作者： 李涛

作者： 李涛;冯仲科;孙素芬;程文生

作者机构：

关键词： 气象数据;分布式;Hadoop;MapReduce

期刊名称： 农业机械学报

ISSN： 1000-1298

年卷期： 2019 年 01 期

页码： 180-188

收录情况： EI ; 北大核心 ; CSCD

摘要： 针对海量气象数据在传统Web GIS平台下存储和分析计算受到限制的问题,提出基于Hadoop的分布式计算和存储框架,使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面,使用MapReduce作为分布式计算编程模型,该模型通过分析海量气候数据可对农业生产进行决策。最后,利用地理信息系统空间可视化技术,在前端页面以三维形式对分析结果进行展示,并分析比较数据量和集群中节点数对计算耗时的影响。试验结果表明,使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率,解决了传统Web GIS平台数据存储与计算的局限性问题。

分类号： TP311.13`TP393.09

  • 相关文献

[1]面向农业科学数据的分布式存储方法研究. 王剑,黄朝光,王健,刘少坤,柴进. 2016

[2]基于hadoop和mahout的聚类系统的研究与实现. 赵军敏,黄焯,张维纬. 2017

[3]多源数据小麦条锈病预测研究. 孔钰如,王李娟,张竞成,杨贵军,岳云,杨小冬. 2022

[4]小麦矮腥黑穗病(TCK)在我国的定殖风险分析. 周益林,段霞瑜,丁胜利,邱焯. 2006

[5]基于REST架构和XML的农情数据共享研究. 戴建国,王克如,李少昆,赖军臣,肖春华,李栓明,王琼. 2012

[6]分布式多源农林物联网感知数据共享平台研发. 陈栋,吴保国,陈天恩,董静. 2017

[7]分布式种质资源管理系统的建立. 侯亮,李鑫玉,张文英,王变银,柳斌辉,蔡海燕. 2019

[8]江苏县域农村屋顶分布式光伏发电系统建设自然社会影响因素实证分析. 朱涛,常向阳,朱方林,邓艾东,朱林. 2023

[9]网络爬虫技术在农业生产数据获取中的研究和应用. 王晓楠,李杨,张海峰,张宇,杨雪峰. 2021

[10]餐厨/厨余垃圾分布式昆虫转化就地处理设备的设计与应用. 徐猛,孟雪松,孔祥平,王聪,杜静. 2023

[11]分布式异构数据库备份恢复机制研究. 梁永利. 2011

[12]基于云计算的农作物种质资源数据挖掘平台研究. 潘恺,方沩,陈丽娜,曹永生. 2015

[13]农业大数据平台的研究进展与应用现状. 王丽娟,信丽媛,贾宝红,原少辉. 2018

[14]国内外农业大数据应用研究分析. 黎玲萍,毛克彪,付秀丽,马莹,王芳,刘勍. 2016

[15]基于Hadoop的农技推广数据存储平台设计. 汪浩,王文生,冯阳. 2015

[16]海量农业科学数据存储体系架构与方法研究. 王剑,黄朝光. 2015

[17]云环境下农业产销信息匹配推荐平台设计与实现. 陈涛,刘世洪,郑火国,胡海燕,王烁,马涛. 2014

[18]基于Hadoop的大数据基础平台搭建与西藏农业应用构想. 尹中江. 2019

作者其他论文 更多>>

微信小程序