基于Spark的Canopy-FCM在气象中的应用

文献类型： 中文期刊

第一作者： 勾志竟

作者： 勾志竟;宫志宏;徐梅;刘布春

作者机构：

关键词： FCM;Canopy;Spark;气象;数据挖掘

期刊名称： 计算机技术与发展

ISSN： 1673-629X

年卷期： 2020 年 30 卷 008 期

页码： 169-173

摘要： 随着气象事业现代化水平的不断提高,气象部门积累了海量的气象数据,如何从海量的气象数据中挖掘出有用的知识,是提高气象服务能力的关键所在.针对传统聚类算法无法有效处理海量数据的问题,提出了一种基于Spark框架的Canopy-FCM(Canopy-fuzzy C-means)并行化聚类算法.该算法将Canopy算法与FCM算法相结合,避免了FCM算法对初始聚类中心敏感的问题,并结合Spark分布式框架内存计算的优势,大大降低了海量气象数据的处理时间.通过采用天津市208个区域自动气象站4~10月逐月降水观测数据,评估了天津市不同区域的降水情况.实验结果表明,提出的方法不仅可以快速有效地从气象数据中挖掘出有用的信息,同时与基于Hadoop框架下的算法相比,有更高的运行速率和加速比,也为相关部门有效地做出水旱灾害监测预警与风险防范决策提供了一种全新的思路和方法.

分类号： TP39

  • 相关文献

[1]单位代谢体重产奶量的非遗传因素分析. 师睿,徐伟,罗汉鹏,鄢新义,董刚辉,栾汝鹏,张震,王新宇,郭刚. 2017

[2]流式细胞术在免疫学上的应用及其发展前景. 邓喜林,林跃智,李蕊,刘皙洁. 2009

[3]国内外农业大数据应用研究分析. 黎玲萍,毛克彪,付秀丽,马莹,王芳,刘勍. 2016

[4]农民远程教育大数据分析平台设计与实现. 孙素芬,赵继春,郭建鑫,乔珠峰,陈会娜,王敏. 2020

[5]春小麦灌浆速率光合速率与气象要素的关联度分析. 董建力,任贤,惠红霞,杨国华,许兴. 2001

[6]两系杂交稻品种两优培九作物生长率的气候模型及分析. 吕川根,胡凝,姚克敏,邹江石. 2010

[7]影响大豆NDVI的气象因素多元回归分析. 张智韬,兰玉彬,郑永军,陈立平,宋鹏. 2015

[8]农业气象智能咨询系统的设计. 吴建伟,杨宝祝,张俊. 2008

[9]基于B/S的森林火灾预警与指挥系统设计. 刘艳朋,杨宝祝,王元胜. 2013

[10]智利竹Jia鱼渔场与海洋环境因子的关系分析. 黄洪亮,沈新强. 2003

[11]稻飞虱灾变与环境的关系. 罗守进,林璐璐. 2012

[12]基于蒸渗仪实测的参考作物蒸散发模型北京地区适用性评价. 袁小环,杨学军,陈超,武菊英. 2014

[13]四川省不同区域参考作物蒸散量计算方法的适用性评价. 崔宁博,冯禹,魏新平. 2016

[14]海南椰子寒害类型初步分析. 张军,黄光瑞,孙程旭,范海阔. 2016

[15]我国部分烟区与国际优质烟区烤烟大田期间某些气象条件的比较. 龙怀玉,刘建利,徐爱国,李志宏,张维理,张云贵. 2003

[16]东北地区干旱特征与春玉米生长季干旱主导气象因子. 李崇瑞,游松财,武永峰. 2020

[17]上海地区单季晚稻条纹叶枯病发生的生物气象因子探讨. 蒋耀培,李军,蒋杰贤,张皓,季香云. 2011

[18]帕米尔高原葡萄延晚栽培气象因子与成熟期光合作用. 伍新宇,潘明启,杨琳,张付春,王强,郭春苗,邹刚,韩建辉,钟海霞. 2015

[19]基于Penman修正式和Penman-Monteith公式的作物系数差异分析. 宋妮,孙景生,王景雷,陈智芳,强小嫚,刘祖贵,Song Ni,Sun Jingsheng,Wang Jinglei,Chen Zhifang,Qiang Xiaoman,Liu Zugui. 2013

[20]茶树栽培中的气象影响及防灾技术. 夏先江,罗仲兴,刘盛旭. 2010

作者其他论文 更多>>

微信小程序