当前位置：首页 > news >正文

scrapy--图片管道-ImagesPipeline

news 2025/7/12 10:20:19

免责声明:本文仅做演示与分享~

介绍

ImagesPipeline

pipelines.py

items.py

zz.py

settings.py

介绍

scrapy 还提供了处理图片、视频、音频等媒体文件的插件，如：

- scrapy-images：用于下载和处理图片

- scrapy-video：用于下载和处理视频

- scrapy-podcast：用于下载和处理播客

- scrapy-feedstorage：用于存储和处理RSS/Atom订阅源

- scrapy-splash：用于渲染JavaScript渲染后的网页

- scrapy-cdr：用于处理爬取数据并生成CDR（Call Detail Record，呼叫详单记录）

这些插件可以帮助我们更好地处理媒体文件，提高爬虫的效率。

scrapy 还额外提供了一种保存图片的方法:

ImagesPipeline

pip install Pillow # python的图像处理库

站长素材

pipelines.py

from itemadapter import ItemAdapter
import scrapy
from scrapy.pipelines.images import ImagesPipeline# zz:
class ScrapyDemo1Pipeline(ImagesPipeline):  # 继承# 重写父类方法def get_media_requests(self, item, info):# 向图片url发起请求#  meta={"item": item['img_name']}  传递图片的名字.yield scrapy.Request(item["img_src"], meta={"item": item["img_name"]})# 指定图片的保存名字:def file_path(self, request, response=None, info=None, *, item=None):img_name = request.meta["item"] + ".jpg"return img_name

items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapyclass ScrapyDemo1Item(scrapy.Item):  # 类名可以自定义，但是必须继承scrapy.Item## zzimg_src = scrapy.Field()img_name = scrapy.Field()

zz.py

爬虫文件

import scrapyfrom scrapy_demo1.items import ScrapyDemo1Itemclass ZzSpider(scrapy.Spider):name = "zz"# allowed_domains = ["zz.com"]start_urls = ["https://sc.chinaz.com/tupian/"]def parse(self, response):# html 数据divs = response.xpath('//div[@class="item"]')  # 这个地方不能getall(),对象.# print(len(divs))for div in divs:# 图片地址img_src = div.xpath("./img/@data-original").get()# 拼接协议img_src = "https:" + img_src# 图片的名字img_name = div.xpath("./img/@alt").get()print(img_name, img_src)# https://scpic3.chinaz.net/files/default/imgs/2024-07-31/65ae6ef86d4b1a44# _s.jpg# https://scpic3.chinaz.net/files/default/imgs/2024-07-31/65ae6ef86d4b1a44_s.jpg# break# # 创建item对象item = ScrapyDemo1Item()item["img_src"] = img_srcitem["img_name"] = img_nameyield item