                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

爬虫这课程的代码呢？

没有老师的代码？全是思路？？？？

韩Shaw

2018-01-22

源自：Python开发简单爬虫 5-1

关注问题我要回答

1485

操作

收起

2 回答

chenjunjie 回答被采纳 +2 积分
2018-01-22

# coding:utf8
import urllib2
import cookielib

url="http://www1.szu.edu.cn"

print "第一种方法"
response1=urllib2.urlopen(url)
print response1.getcode()
print len(response1.read())


print "第二种方法"
request=urllib2.Request(url) 
request.add_header("user-agent", "Mozilla/5.0 ")
response2=urllib2.urlopen(request)
print response2.getcode()
print len(response2.read())


print "第三种方法"
cj=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3=urllib2.urlopen(url)
print response3.getcode()
print cj
print response3.read()