                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

有没有视频中demo代码可以下载的？

iambigroc

2020-02-16

源自：Python开发简单爬虫 1-1

关注问题我要回答

742

操作

收起

1 回答

慕田峪0665080
2020-02-16

from urllib import request
from http import cookiejar

url = "http://www.baidu.com"


def print_response(resp):
    print(resp.code)
    print(len(resp.read()))

    # 第一种方法


print("第一种方法")
req = request.build_opener()
print_response(req.open(url))

# 第二种方法
print("第二种方法")
req = request.build_opener()
req.addheaders.append({"user-agent", "Mozilla/5.0"})
print_response(req.open(url))

# 第三种方法
print("第三种方法")
cj = cookiejar.CookieJar()
req = request.build_opener(request.HTTPCookieProcessor(cj))
print_response(req.open(url))
print(cj)

基于python3的，跟视频的版本不一样