您好,欢迎访问北京市农林科学院 机构知识库!

基于遗传算法的主题爬虫策略

文献类型: 中文期刊

作者: 刘国靖 1 ; 康丽 1 ; 罗长寿 2 ;

作者机构: 1.中国农业大学信息与电气工程学院

2.北京市农林科学院农业科技信息研究所

关键词: 主题爬虫;遗传算法;主题相关度;搜索引擎

期刊名称: 计算机应用

ISSN: 1001-9081

年卷期: 2007 年 27 卷 S2 期

页码: 172-174+179

收录情况: 北大核心 ; CSCD

摘要: 针对目前主题搜索策略的不足,通过改进遗传算子提出了一种新的主题爬虫策略,即通过变异操作引入新的URL扩大搜索范围;通过交叉操作产生大量的URL;通过选择操作选出适应度高的个体作为下一代的种子。实验结果表明,基于遗传算法的主体搜索策略GA与BFS和OPS相比,爬虫策略取网页中的主体相关网页数量多,在合理选择种子集合时,能抓取大量的主体相关度高的网页。

  • 相关文献

[1]WEB信息检索与WEB数据挖掘. 刘振岩,王万森,陈立平. 2003

[2]高效FTP搜索引擎的设计与实现. 郭立力,赵春江. 2009

[3]基于Nutch农业搜索引擎的研究与设计. 周鹏,吴华瑞,赵春江,杨宝祝,朱华吉. 2009

[4]基于GA-LSSVR的烟草尼古丁含量的近红外光谱分析. 郭志明,赵春江,陈立平,黄文倩. 2010

[5]近红外光谱的苹果内部品质在线检测模型优化. 郭志明,黄文倩,陈全胜,彭彦昆,赵杰文. 2016

[6]基于GA的GRNN高光谱遥感反演冬小麦叶片氮含量模型的建立与验证. 孙焱鑫,王纪华,李保国,刘良云,黄文江,赵春江. 2007

[7]近红外光谱结合GA-LSSVR分析烟草尼古丁含量. 郭志明,陈立平,黄文倩,张驰. 2012

[8]优化支持向量机在鲜切生菜加工HACCP分类中的应用. 王开义,徐红敏,赵春江,喻钢. 2009

[9]十折交叉检验的支持向量机参数优化算法. 郭立力,赵春江. 2009

[10]基于BP和GRNN神经网络的冬小麦冠层叶绿素高光谱反演建模研究. 孙焱鑫,王纪华,李保国,刘良云,黄文江,赵春江. 2007

[11]基于遗传BP神经网络的半滑舌鳎体重估算模型优化研究. 杨占魁,任东,孙传恒,周超,解菁. 2015

[12]基于订单位置聚类的雏鸡配送车辆调度优化模型. 陈栋,陈天恩,姜舒文,张驰,王聪,鲁梦瑶. 2020

[13]基于自适应模糊控制的拖拉机自动导航系统. 刘兆祥,刘刚,籍颖,张漫,孟志军,付卫强. 2010

[14]县域农田土壤采样布局多目标优化分析模型. 陈天恩,董静,陈立平,陈栋. 2012

[15]鲜切蔬菜加工过程追溯的原料批次混合优化模型构建. 邢斌,刘学馨,钱建平,王健,吴晓明. 2015

[16]基于支持向量机的X射线荧光光谱重金属检测模型的建立. 李芳,陆安祥,王纪华. 2016

[17]基于遗传算法的规则包装农产品三维装箱模型. 邢斌,杨信廷,钱建平,王凤丽. 2011

[18]矮化密植果园多臂采摘机器人任务规划. 李涛,邱权,赵春江,谢丰. 2021

[19]基于太赫兹光谱的土壤重金属铅含量检测初步研究. 李斌,赵春江. 2016

[20]一种基于MVC的规则农产品单车三维配载系统. 王凤丽,邢斌,钱建平,杨信廷. 2011

作者其他论文 更多>>