文档介绍：网络爬虫开题报告(共9篇) :爬虫开题报告网络网络爬虫是什么网络爬虫原理网络爬虫软件篇一:定向网络爬虫开题报告山东科技大学本科毕业设计(论文)开题报告题目网络爬虫定向爬取? 脚本之家? 文本信息学院名称信息科学与工程学院专业班级计算机科学与技术 2012 级2班学生姓名包志英学号 201201050201 指导教师赵中英填表二 0 一六年三月二十八日下, 并不能很稳定的工作, 内存消耗随着程序的运行而不断增大,直到达到 jvm 分配的上限而崩溃。很多时候,你只能做个权衡, 每个 webclient 使用若干次后就把它回收, 然后重新启动一个, 这非常影响性能。 Rhino 对于 javascript 的支持并不好,实际使用中, 会发现各种 Exception , 很多时候会导致无法渲染出想要的结果,这个 htmlunit 的又一大缺陷。随着版本的更新,能够渐次解决一些问题,但是好的程序员,还是应该自己读源码来尝试解决问题。 Phantomj s 相比于 htmlunit ,对于js 的支持更接近真实的浏览器, 但是并发性能差, 通过 java 的 exec 调用系统命令来启动, 更加降低了性能。此外主流的浏览器都提供了相应的抓取支持, selenium 可谓是一个集大成者,包含了上述的所有组件,以 WebDriver 的形式, 适配各种爬虫组件,你可以用它操控浏览器自动抓取,当然,并发和性能的问题依然存在。爬虫开发的主要问题是性能和反封锁。很多时候,采用高并发高频率抓取数据是可行的,前提是目标站点没有采用任何反爬措施( 访问频率限制、防火墙、验证码……); 更多时候, 有价值的信息, 一定伴随着严格的反爬措施, 一旦 ip 被封, 什么组件都没戏了。你不得不维护一个代理 IP 池来解决这个问题, 当然, 这也带来了代理 ip 稳定性和速度的问题, 这些问题都是无法回避的问题,我们需要针对具体的情况,采用对应的措施,以最大限度的完成爬虫爬取任务。目前,爬虫的需求呈爆炸式增长的趋势,这是当前各种互联网创新和大数据时代的新常态。火车和八爪鱼等团队看到了这一点, 并率先开发了相对完备的爬虫产品,很多用户都在使用,但是更多的用户希望直接把爬虫抓取任务外包出去, 因为他们不懂技术, 工具的使用需要逾越技术的鸿沟,大部分用户并没有这个逾越鸿沟的打算。我相信像猪八戒这样的技术外包平台会活的越来越好, 我也相信各个技术门类会不断聚集,形成相对独立的社区, P2P 的社区平台将提供爬虫开发者和爬虫需求者更加通畅的交流渠道。目前,淘宝等平台上出现很多爬虫服务商,如 http://item./?spm=& id=42659198536&ns=1&abbucket=6#detail ,这种定制开发的服务,增加了服务商的成本,服务往往是一次性的,满足了一个用户的需求,然而具有相似需求的用户,却很难有机会找到这个服务商,这就是为什么我们需要爬虫信息交流的平台。篇二:网络爬虫的设计与实现毕业设计(论文)说明书学院软件学院专业软件工程年级姓名张凤龙指导教师陈锦言 2011 年3月6日毕业设计(论文)任务书题目:网络爬虫设计与实现学生姓名张凤龙学院名称软件学院专业软件工程学号指导教师陈锦言职称讲师一、原始依据( 包括设计或论文的工作基础、研究条件、应用环境、工作目的等。) 互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。所以需要一个能基于主题搜索的满足特定需求的网络爬虫。为了解决上述问题,参照成功的网络爬虫模式,对网络爬虫进行研究,从而能够为网络爬虫实现更深入的主题相关性,提供满足特定搜索需求的网络爬虫。二、参考文献[1]Winter .中文搜索引擎技术解密:网络蜘蛛[M] .北京:人民邮电出版社, 2004 年. [2]Sergey 等. The Anatomy ofa Large-Scale Hypertextual Web Search Engine [M] .北京:清华大学出版社, 1998 年. [3]Wisenut . WiseNut Search Engine white paper [M] .北京:中国电力出版社, 2001 年. [4]Gary Stevens . TCP-IP 协议详解卷 3: TCP 事务协议, HTTP , NNTP 和 UNIX 域协议[M] . 北京: