最新回答 / 关力
1.同学你好，我们在写程序的时候，有好多判断，比如说链接无效，比如说没有title或者summay数据等都会被返回为异常处理，然后显示为craw failed.2.你可以通过在程序中增加print url来显示你爬取得url,这样即使failed，你也可以自己检验看是否是url真的错误，还是自己程序的问题。有可能出现自己url拼接错误的问题，因为无法看到你的代码，因此无法确定，你可以自己检查一下。
2016-08-20
最赞回答 / 宇娃
很明显，这是re模块没有导入的结果。在输入link_node = soup.find('a', href=re.后面按Ctrl +1 ，会提示你导入re 模块 ，然后回车就行了，这就就导入了re模块，然后代码就可以正常运行了
2016-08-20
最赞回答 / 云1234567
我自己也有同样的问题，后来自己给自己解决了，也是参考了别的问题的答案。我再复制一份给你方法一：fout.write("<html><meta charset=\"utf-8\" />")下面这些不需要再写encode('utf-8')fout.write('<td>%s</td>'%data['url']) fout.write('<td>%s</td>'%data['title']) fout.write('<td>...
2016-08-19
已采纳回答 / 慕虎5127847
我在pycharm中把你的代码运行了一下，把“beautifulSoup”改成“BeautifulSoup”，并且把soup=beautifulsoup(html_doc,'html_doc',from_encoding='utf-8')改成了soup=BeautifulSoup(html_doc,'html.parser',from_encoding='utf-8')，最后结果是正确的，而且没有报错
2016-08-18
已采纳回答 / arkria3684535
首先要确保eclipse编辑器环境的编码为utf8，这个是大前提；其次如果py文件中含有中文字符的话，需要在py文件中对编码进行声明。修改eclipse编辑器编码：A） 设置工作空间编码：Window->preferences->General->Workspace->UTF-8B） 设置编辑器编码：Window->preferences->General ->Editors->Text Editors->Spelling->UTF-8C） 设置...
2016-08-17
最赞回答 / 帽子大大大3830867
然而我找到答案了，原因大概是网络问题，导致 response = urllib2.urlopen(url)没有反应，然后卡死解决方案就是加个timeout： response = urllib2.urlopen(url,timeout=5)这样就能继续往下爬了~
2016-08-16