scrapy_redis中的redis_key的问题

Question

redis_key = 'jingzhun:starturls' 这个从lpush 里面来的，但是我现在要给这个push的地址加上cookie 和header 才能获取数据，请问这个如何处理呢？

Answer 1

重写scrapy_redis的这个方法

def make_request_from_data(self, data):
        """Returns a Request instance from data coming from Redis.
        By default, ``data`` is an encoded URL. You can override this method to
        provide your own message decoding.
        Parameters
        ----------
        data : bytes
            Message from redis.
        """
        url = bytes_to_str(data, self.redis_encoding)        return self.make_requests_from_url(url)

或者return中调用的那个方法，自定义请求。