【九月打卡】第1天 爬虫基础

课程名称：0基础开发简单爬虫

课程章节：requests模块入门（3-2 ）

主讲老师：大壮老师

课程内容：
http和https基础
request的一些基础使用get，post请求

课程收获：
1、HTTP和HTTPS协议区别

2、request的安装

3、requests.get查询url
response = requests.get(url=“http://httpbin.org/ip”)
response.url

4、request.post请求提交表单数据
response = requests.post(url=“http://httpbin.org/post",data={"name” : "IMOOC})

5、requests请求构造请求头
先定义一个headers数据，通过get方法注入
requests.get(url=“http://httpbin.org/ip”, headers=header)
对于反爬虫敏感度比较高的网站可以伪造请求头里面的数据从而避开反爬

6、设定连接超出时间
response = requests.get(url=“https://www.imooc.com”,timeout=4)

7、证书校验 verify为false的时候或者注入网站证书都是可以的
response = requests.get(url=url,verify=False)