python分布式爬虫中的Redis如何使用-创新互联

这篇文章主要介绍python分布式爬虫中的Redis如何使用，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

公司主营业务：成都网站设计、网站制作、外贸营销网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出龙山免费做网站回馈大家。

利用redis做分布式系统，最经典的就是scrapy-Redis，这是比较成熟的框架。同时我们也可以利用Redis的队列功能或者订阅发布功能来打造自己的分布式系统。

Redis作为通信载体的优点是读写迅速，对爬虫的速度影响可忽略不计，使用比较普遍。

主程序示例：

import scrapy
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from scrapy.dupefilter import RFPDupeFilter
from scrapy.core.scheduler import Scheduler
import redis
from ..items import XiaobaiItem
 
from scrapy_redis.spiders import RedisSpider
class RenjianSpider(RedisSpider):
    name = 'baidu'
    allowed_domains = ['baidu.com']
 
    def parse(self, response):
 
        news_list = response.xpath('//*[@id="content-list"]/div[@class="item"]')
 
        for news in news_list:
 
            content = response.xpath('.//div[@class="part1"]/a/text()').extract_first().strip()
            url = response.xpath('.//div[@class="part1"]/a/@href').extract_first()
 
            yield XiaobaiItem(url=url,content=content)
 
        yield Request(url='http://dig..com/',callback=self.parse)

以上是“python分布式爬虫中的Redis如何使用”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！

分享名称：python分布式爬虫中的Redis如何使用-创新互联
本文来源：http://mswzjz.cn/article/digidg.html