我想抓取一个网站，但出现下一个错误：'<head>\n<title>Access Denied</title>\n</head>'我只是在控制台中尝试：scrapy shell https://www.zara.com/es/en/
response.css("head").get()我做错了什么？与User-Agent有关吗？网站有没有反爬的方法？怎样才能抓取这个网站？
1 回答
芜湖不芜
TA贡献1796条经验 获得超7个赞
在 settings.py 中设置USER_AGENT = 'zara (+http://www.yourdomain.com)'。解决问题。如果您愿意，也可以放置自己的用户代理。
添加回答
举报
0/150
提交
取消