文档介绍：如何批量下载网页上的图片
有时候我们在浏览网页的时候,发现有很多自己喜欢的图片,这个时候想要批量下载网页上的图片应该怎么办呢。这个时候可以使用八爪鱼采集器,只需做好规则,即可全自动地将我们的想要的图片采集下来。下面以采集阿里巴巴商品图片为例,为大家详细介绍如何批量下载网页上的图片。
采集网站:
https://npin/-
使用功能点:
分页列表及详细信息提取
orialdetail-1/
AJAX滚动教程
orialdetail-1/
步骤1:创建阿里巴巴图片采集任务
1)进入主界面,选择“自定义模式”,点击“立即使用”
将要采集的网址复制粘贴到网站输入框中,点击“保存网址”
步骤2:创建翻页循环
系统自动打开网页,进入阿里巴巴“衣服”商品列表页。观察网页结构,当把页面下拉至底部的时候,会加载出一批新的数据,随着我们的下拉,页面会有新的数据加载出来。经过2次下拉加载,此页面达到最底部,出现“下一页”按钮。
所以涉及Ajax下拉加载,需要对其进行一些高级选项的设置。点击右上角的“流程“按钮,选中左侧的“打开网页”,打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“5次”,每次间隔“2秒”,滚动方式为“直接滚动到底部”,最后点击“确定”
注意: 这里的滚动次数及间隔时间,需要针对网站情况进行设置,并不是绝对的。一般情况下,间隔时间>网站加载时间即可。有时候网速较慢,网页加载很慢,还需根据具体情况进行调整。
具体请看:——AJAX滚动教程
orialdetail-1/
2)将页面下拉到底部,点击“下一页”按钮,在右侧的操作提示框中,选择“循环点击下一页”
与“打开网页”类似,此步骤同样涉及Ajax下拉加载。点击左侧流程中的“点击翻页”,打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“5次”,每次间隔“2秒”,滚动方式为“直接滚动到底部”,最后点击“确定”
步骤3:创建列表循环并提取阿里巴巴图片数据
移动鼠标,选中页面里要采集的数据。下面选中的是图片,商品标题,选中后,系统会自动识别页面里的其他相似链接。在右侧操作提示框中,选择“选中全部”。
选择“采集数据”并点击
字段信息选择完成后,选中相应的字段,可以进行字段的自定义命名。完成后,点击“确定”
接下来为将图片URL批量导出为图片做准备。点击“添加特殊字段”,选择“添加固定字段”,输入“E:\阿里巴巴图片采集\”,其中“E:\\”为图片存储盘,“阿里巴巴图片采集”为图片保存文件夹名
步骤5:阿里巴巴图片数据采集及导出
点击左上角的“开始采集”,选择启动“本地采集”
注:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
采集完成后,会跳出提示,选择“导出数据”。选择“合适的导出方式”,将采集好微博发博数据导出,这里我们选择excel作为导出为格式,数据导出后如下图所示。
步骤6:将图片URL批量转换为图片
经过如上操作,我们已经得到了要采集的图片的URL。接下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片
URL中的图片,下载并保存到本地电脑中。
图片批量下载工具:https://pan./s/1c2n60NI
1)下载八爪鱼图片批量下载工具,,打开软件
2)打开File菜单,选择从EXCEL导入(目前只支持EXCEL格式文件)