为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy 在抓取数据的时候 cookie 传递的不一样

scrapy 在抓取数据的时候 cookie 传递的不一样

德玛西亚99 2019-02-27 06:05:04
    self.co_headers = {"Referer": "https://rong.36kr.com/list/detail&?sortField=HOT_SCORE",                               "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"                 , "Host": "rong.36kr.com", "cookie": self.cookie_str, ":authorit": "rong.36kr.com"}               这是headers 和cookie 放在一起的self.headers = {"Referer": "https://rong.36kr.com/list/detail&?sortField=HOT_SCORE",                        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"             , "Host": "rong.36kr.com"}               这个是单独的header cookie 单独通过字典给他传过去 cookies=cookie,headers=headers这样才可以 scrapy 在传递cookie的时候 有时候把cookie 写到co_header 里面 有时候把headers 和cookie 单独列出来,这是为啥?有人知道吗?
查看完整描述

1 回答

?
狐的传说

TA贡献1804条经验 获得超3个赞

没区别吧。主要看cookies格式。scrapy发送请求也是通过requests这个库。headers里面coookies=‘{}={};{}={}’格式,单独拎出来的话cookies={}是一个字典而已,最后都会转化成cookiejar接受的格式而已。

查看完整回答
反对 回复 2019-03-04
  • 1 回答
  • 0 关注
  • 1035 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信