Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)] on win32
Type "copyright", "credits" or "license()" for more information.
>>>
========= RESTART: C:\Users\Administrator\Desktop\爬虫\spider_main.py =========
craw 1 ; http://baike.baidu.com/item/Python
craw failed
>>>
Type "copyright", "credits" or "license()" for more information.
>>>
========= RESTART: C:\Users\Administrator\Desktop\爬虫\spider_main.py =========
craw 1 ; http://baike.baidu.com/item/Python
craw failed
>>>
2017-04-23
python3
#需要 import re
print('正则匹配')
link_node = soup.find('a',href=re.compile(r'ill'))
print (link_node.name, link_node['href'], link_node.get_text())
#需要 import re
print('正则匹配')
link_node = soup.find('a',href=re.compile(r'ill'))
print (link_node.name, link_node['href'], link_node.get_text())
2017-04-23
https://github.com/liningzi/Spider_mai#spider_mai
一开始只输出两条记录,后来debug发现没有拼接成功
一开始只输出两条记录,后来debug发现没有拼接成功
2017-04-21
按照老师的课来打的代码
我用的是python3.6
https://github.com/hinkleung/baike_spider
我用的是python3.6
https://github.com/hinkleung/baike_spider
2017-04-20
本想看下评论有什么精华的,结果竟然有人觉得抱怨是理所当然的?学习这东西嘛,有问题,把你的问题写出来,大家讨论一下也许就解决了。说一些负面能量的话屁用没有。如果问题很多,那一定是基础不行,就回头打基础去,不就好了吗。如果抱怨能发财,喷子们早就富出中国,冲向宇宙了!其他社交网站随便喷,学习型网站,谁喷怼谁。有问题说问题!
2017-04-20
老师节奏非常快,关于urllib讲了很多之前没见过的方法,需要自己去学习。另外Python3.x里面urllib和urllib2貌似合并了,urllib2的方法集成到urllib.request下面去了,用法类似。
2017-04-19
print '第三种方法'
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
print response3.getcode()
print cj
print len(response3.read())
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
print response3.getcode()
print cj
print len(response3.read())
2017-04-17