Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

我通过print跟踪发现new_urls读不到内容，len不出结果，导致循环走不下去，parse过程可以获得正常的url

最新回答 / celestshakey

跟踪代码发现是urls的输出没问题，就是data的输出有问题导致整个数据组的输出有问题。把data里面found改为find就成功了

1 回答 762 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-27

为什么我按Ctrl+E快捷键没有老师一样的import选项呢

最新回答 / 慕函数0019356

嗯啊，是

2 回答 773 浏览 7-2 调度程序

2016-01-26

这种报错怎么处理

最新回答 / 慕粉1473315927

怎么改呀QAQ我也出现了这个问题

3 回答 1766 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-25

老师怎么提高爬取的速度

最新回答 / 慕移动9181930

有时间一定出请关注慕课网你的ul.labelTextli的folat:left冒号用的中文，还误打误撞的用对了。我还说怎么我写的跟你一模一样怎么我最后出来的结果就死活不行呢...

2 回答 862 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-24

课程中，eclipse如何快捷创建新class？

最赞回答 / qq_Autor_man_0

shiftl+alt+n,然后按c新建class

2 回答 5687 浏览 7-2 调度程序

2016-01-23

结果只有一条数据

最赞回答 / Julie1011

我找到原因了自己太不仔细了有的单词拼错了，同样问题的童鞋好好检查下自己的代码

1 回答 852 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-21

html乱码

最赞回答 / lqc

搜索了半天找到解决办法了 open('output.html', 'w', encoding='utf-8')然后write的时候不进行encoding

3 回答 868 浏览 7-5 HTML解析器html_parser

2016-01-20

补充几张图片示例：1.光标放到UrlManager再Alt+Enter键出来选择下拉列表，选择第一个，创建了class UrlManager()。<...图片...>2.url管理器的几个方法都已经高亮显示了<...图片...>3.把光标add_new_url（）按Alt+Enter键可以创建该方法。<...图片...>4. 重复3步骤，创建has_new_url()，add_new_urls（）方法<...图片...>

11 回答 4555 浏览 7-2 调度程序

2016-01-19

请问这里的link["href"]是什么意思？

最新回答 / 啊B

link查找到的内容中，href的属性

4 回答 1216 浏览 7-5 HTML解析器html_parser

2016-01-17

无法运行，却又没报错

最新回答 / 慕尼黑1193012

你和我遇到的问题一样主要是缩进问题；我现在只能出一条就停止了。

4 回答 1219 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-16

"urls is None"和"len(urls) == 0"有什么却别吗？求解释

最赞回答 / JonnyKing

没有指向任何内存地址，和指向的内存长度为0.

2 回答 682 浏览 7-3 URL管理器

2016-01-16

BeautifulSoup 报错，怎么解决

最新回答 / 慕函数0019356

什么东西？

4 回答 3347 浏览

2016-01-16

爬虫乱码情况

最赞回答 / 君以行健

<...code...>

4 回答 1377 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-15

在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？

最赞回答 / 我是塞尔维斯

没有必要，因为add_new_urls方法里边又调用到了add方法，判重已经在add中实现了

3 回答 724 浏览 7-3 URL管理器

2016-01-15

1000个页面指的是什么意思？

讲师回答 / 蚂蚁帅帅

讲课的时候，不可能抓取太多的页面，因为等的时间太长，所以只抓取了1000个页面用于演示效果，大家当然不用这么设定

2 回答 783 浏览 8-1 课程总结

2016-01-12

首页上一页 69 70 71 72 73 74 75 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫