基于工作流的统计年鉴数据清洗模型构建

文献类型： 中文期刊

第一作者： 张辉

作者： 张辉;魏东;乔璐;李丹丹;张玉尧;郑国清;冯晓

作者机构：

关键词： 工作流;统计年鉴;数据清洗;Alteryx;质量控制

期刊名称： 河南农业科学

ISSN： 1004-3268

年卷期： 2021 年 010 期

页码： 172-180

收录情况： 北大核心 ; CSCD

摘要： 为实现统计年鉴数据集成整合和综合快速查询,以2000—2018年《中国统计年鉴》及《河南统计年鉴》等全国31个省（市、区）统计年鉴为例,深入分析其数据特征后,采用Alteryx Designer 2019.2学习版,基于工作流技术,经过提取目录及文件、提取文件中的表单、提取表单中表的内容、数据清洗及规范、规范标识数据的6个维度、数据重组和数据输出共7个步骤构建了统计年鉴数据清洗模型。结果表明,在16 GB内存的笔记本电脑上,模型用时4～5 h即可将数据容量达21 GB、包含33万个文件、120万张表单的统计年鉴数据清洗并整合为1套包含6 000多万条指标数据序列的标准规范数据集。构建的数据清洗建模方法具有高效、可溯源的优势。

分类号： G353.1

  • 相关文献

[1]文献计量数据准备之数据采集与清洗——以中国水产科学研究院中文期刊论文分析为例. 闫雪,欧阳海鹰,曾首英,葛长水,唐琳,邵萍,陈柏松. 2014

[2]面向领域分析的文献数据清洗策略研究. 盛怡瑾,黄政,张学福. 2015

[3]数据匹配算法应用对比研究——以期刊数据融合中作者和机构匹配为例. 盛怡瑾,张学福,孙巍,郝心宁. 2015

[4]基于工作流的后勤OA系统的设计及实现. 李德高,王斌华,王建军. 2014

[5]村镇土地审批流程的动态构建. 张雨佳,吴华瑞,朱华吉,苏中滨,陶勇. 2010

[6]面向复杂工作流的农业科研协同办公平台设计. 李昀,吴华瑞,顾静秋,杨宝祝,朱华吉. 2019

[7]工作流软件在办公自动化系统中的应用. 周爱莲. 2009

[8]基于工作流的协同科技数据管理系统设计. 蓝振航,刘军,刘彩霞. 2013

[9]浅谈土壤常规检测中的几个关键环节. 林媚. 2017

[10]小麦种子质量控制关键技术的初步研究. 华国栋,刘耀鸿,李冠喜. 2012

[11]基于Web的网络化水产养殖企业安全生产信息管理系统的构建. 宋昀鹏,丁子元,刘皓,李灏,任涵玮,邵蓬,徐扬,徐林通. 2015

[12]酒用糯高粱黔高7号良种繁育技术. 沈佳奇,周棱波,张国兵,汪灿,徐燕,白俊霞,邵明波. 2017

[13]论会计电算化的质量控制. 姬广贵,鲁文韬,张维战. 2009

[14]科技创新推动萨帕乐品牌羊毛再上新台阶. 郑文新,高维明,曹克涛,陶卫东,乌兰,王建忠. 2008

[15]实验室盲样考核过程中的质量控制. 周顺珍,郭灿,周国兰,赵华富,刘晓霞. 2016

[16]中美两国马铃薯种薯质量控制对比分析. 雷尊国,邓禄军,王启富,李飞. 2011

[17]桑椹片中多酚及花青素含量的测定. 林耀盛,刘学铭,杨荣玲,陈智毅,杨春英,赵晓丽,王思远. 2013

[18]建筑工程预拌混凝土的质量控制. 甄东海. 2014

[19]红曲黄酒酿造工艺与质量控制. 梁璋成,何志刚,林晓姿,李维新. 2014

[20]某高层建筑地下室防水工程的施工管理与质量控制. 杨勇文,丁晓敏. 2013

作者其他论文 更多>>

微信小程序