为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy抓取淘宝商品详情页,读取url随机强制302,跳转到h5.taobao。

scrapy抓取淘宝商品详情页,读取url随机强制302,跳转到h5.taobao。

千万里不及你 2019-05-25 15:07:40
使用scrapy+redis从一定量的淘宝详情页url获取商品详情已设置user-agent,已传入cookie,已设置proxy-ip获取url,response.status有时是200,有时是302,随机改变1000个url,成功获取商品信息大概有400多是否为cookie未传入成功,还是proxy-ip不稳定?或者其他原因。请帮忙分析,谢谢!报错Traceback:2017-07-1415:51:12[scrapy.core.engine]DEBUG:Crawled(200)(referer:None)2017-07-1415:51:12[requests.packages.urllib3.connectionpool]INFO:StartingnewHTTPSconnection(1):rate.taobao.com2017-07-1415:51:12[requests.packages.urllib3.connectionpool]DEBUG:"GET/detailCommon.htm?auctionNumId=10245430841HTTP/1.1"200None2017-07-1415:51:12[scrapy.core.scraper]DEBUG:ScrapedfromNone2017-07-1415:51:12[taobao]DEBUG:Read1requestsfrom'taobao:start_urls'2017-07-1415:51:12[scrapy.downloadermiddlewares.cookies]DEBUG:Sendingcookiesto:2017-07-1415:51:12[scrapy.downloadermiddlewares.redirect]DEBUG:Redirecting(302)tofrom2017-07-1415:51:12[scrapy.downloadermiddlewares.cookies]DEBUG:Sendingcookiesto:2017-07-1415:51:12[scrapy.core.engine]DEBUG:Crawled(200)(referer:None)['partial']2017-07-1415:51:12[scrapy.core.scraper]ERROR:Spidererrorprocessing(referer:None)
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 1738 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信