python爬虫的问题

Question

import urllib.request import re user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } url='http://waimai.baidu.com/waimai/shoplist/7ff6ee1800f46e66' request=urllib.request.Request(url,headers=headers) response=urllib.request.urlopen(request) pagecode=response.read().decode('utf-8') pattern=re.compile('<li class="list-item shopcard data.*?<div class="title" title=(.*?)</div>') items=re.findall(pattern,pagecode) for item in items:     print(item[0])目的是爬取外卖商家的名称，url在代码里了不知道为什么爬取不到任何信息求解

Answer 1

有的网站是禁止爬取的。