                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

代码如图，爬出来的全是craw failed，求大神解释？

能运行，但是全是craw failed

Silyb

2017-08-31

源自：Python开发简单爬虫 7-2

关注问题我要回答

759

操作

收起

1 回答

freedom_X20A
2017-08-31

def get_new_url(self):#从url管理器中获取一个新的带爬取得url

new_url=self.new_urls.pop()#pop方法会从列表中获取url并会移除

self.old_urls.add(new_url)#将此url添加进old_url

return new_url

你多了个add

0 回复有任何疑惑可以回复我~

收起回答

Silyb 提问者

现在可以了但是爬出来的网页打开summary部分是乱码，怎么回事啊？

2017-09-01 回复有任何疑惑可以回复我~

freedom_X20A 回复 Silyb 提问者

#coding:utf8 在html_parser.py加这个试试

2017-09-02 回复有任何疑惑可以回复我~

Silyb 提问者回复 freedom_X20A

每个模块都加上了还是不行

2017-09-05 回复有任何疑惑可以回复我~

0/150

提交

取消

Python开发简单爬虫

参与学习 227670 人
解答问题 1219 个

本教程带您解开python爬虫这门神奇技术的面纱

进入课程

代码如图，爬出来的全是craw failed，求大神解释？

我要回答关注问题

热搜

最近搜索清空

代码如图，爬出来的全是craw failed，求大神解释？

1 回答

代码如图，爬出来的全是craw failed，求大神解释？