大数据爬虫解决方案.pptx

文档介绍：大数据爬虫解决方案
大数据数据技术服务–爬虫
2
大数据基础管理平台架构
大数据爬虫架构
爬虫控制架构
爬虫抓取组件
网页抓取平台组建
爬虫节点通信
爬虫控制方法
网络爬虫的反爬处理
***IP的访问策略
分布式多线程模式
模拟多IP和多浏览器策略
验证码的反爬处理
爬虫安全设计方案
网络爬虫核心软件系统架构
爬虫节点
服务器-1
网络爬虫协同化采集数据
2
3
n
接入
爬虫服务器
机房A
1
2
n
机房B
1
2
n
机房N
爬虫软件系统分成2部分:服务器&客户端软件
接入
接入
规则服务器
规则服务器
客户端软件是抓取规则定义软件和网络爬虫软件
爬虫服务器节点分布式跨地域部署,所有爬虫节点统一协同运行,实现海量抓取并防封锁
规则服务器软件负责语义标签和信息结构管理、爬虫线索和抓取规则调度和管理
规则服务器软件统一协调所有网络爬虫,给网络爬虫分配采集任务,既不漏也不重
爬虫工具使用示例(1)
爬虫工具使用示例(2)