使用ruquest爬取某些豆瓣页面总是返回404？

Question

应该不是封IP的缘故吧？request某些豆瓣电影页面总是会返回404，但同一时间段request其他页面都是返回正常的。比如 request ‘https://movie.douban.com/subj...’ 就总是会返回404但是在同一时间段request ‘https://movie.douban.com/subj...’ 返回是正常的哪位能够帮忙解答一下？

Answer 1

你是否设置了头部？豆瓣某些页面需要游客cookie才可以访问，你的爬虫如果直接孔cookie请求可能会被拦截。你最好通过requests等库维持一个cookie会话