Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

创建对象格式

已采纳回答 / 大象的回忆

url_manager是python程序建立的模块，是个.py文件，而UrlManager是一个类，self.urls=url_manager.UrlManager()是指在url_manager模块中创建对象（类）UrlManager

1 回答 614 浏览 7-2 调度程序

2016-05-02

如何提取标签的这类属性，即含有' - ' 的属性

已采纳回答 / Haitao_biology

不是把"data-cid"当成其中一个属性来看就行了么,课程中不是有根据"href"属性来提取<a>标签的例子么,把"href"换成"data-cid"试试.如果目标页面的<li data-cid="x">有不定个,就外面套个while循环,循环到该第i个元素找不到为止

1 回答 1123 浏览 6-3 BeautifulSoup的语法

2016-05-02

运行时报错 ImportError: cannot import name 'HTMLParseError'

已采纳回答 / 小萝卜腿

看看这个Importing bs4 in Python 3.5

1 回答 23684 浏览 6-4 BeautifulSoup实例测试

2016-04-29

ImportError: No module named 'bs4'

已采纳回答 / qq_粒子数反转_0

需要安装beautifulsoup4插件

2 回答 1787 浏览 7-5 HTML解析器html_parser

2016-04-26

求助！！！cannot import name BeautifulSoup

最赞回答 / 慕粉4359630

我是自己把爬虫脚本的名字命名成bs4.py了，奇葩啊import bs4print bs4.__file__

8 回答 14684 浏览 6-4 BeautifulSoup实例测试

2016-04-20

为什么我的结果是这样的？

已采纳回答 / Lulu prince

try未执行，而是把异常的提示显示在控制台，说明程序代码应该有写错的地方，可以找一下这位的代码https://github.com/fifths/python_baike_spider/blob/master/baike_spider/html_outputer.py 然后进行对比

2 回答 1135 浏览 7-7 开始运行爬虫和爬取结果展示

2016-04-18

第一种方法为什么无法打印出网页内容呢？

已采纳回答 / chunllc

repones1.read()被占用了,赋值给对象a就可以(具体也搞不懂为什么)……<...code...>

1 回答 1277 浏览 5-3 Python爬虫urlib2实例代码演示

2016-04-18

按代码来敲报错，求解

已采纳回答 / 啊B

UrlManager这个文件没有old_urls属性自己检查一下

3 回答 880 浏览 7-3 URL管理器

2016-04-16

想要获得下面正文的所有内容该怎么办呢？

已采纳回答 / heguan58

这个需要自己摸索对应的标签规则，才能做出相应的抓取策略

1 回答 1012 浏览 7-7 开始运行爬虫和爬取结果展示

2016-04-13

第一种爬虫为什么会错误

已采纳回答 / 我的心属于你

www.baidu,com 兄弟你把.com写成,com了

2 回答 1129 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2016-04-11

为什么可以把class属性改成class_

已采纳回答 / Fencingworld

class 在pytho 中也是关键字，bs4为了区分，改为class_

1 回答 1172 浏览 6-4 BeautifulSoup实例测试

2016-04-03

通过class获取报错

最赞回答 / 田心枫

<...code...>看文档解决，不要那个class_

8 回答 1796 浏览 6-4 BeautifulSoup实例测试

2016-03-29

undefined variable from import

已采纳回答 / Nelsonberry

检查代码import urlparse 是否正确，然后检查urlparse.urljoin(url,new_url),仔细核对代码。

1 回答 2361 浏览 8-1 课程总结

2016-03-28

爬出来的页面内容显示这种乱码似的文字是怎么回事啊？求教！谢谢！

已采纳回答 / us4ever

<...code...>试一下这样吧

5 回答 3268 浏览 7-7 开始运行爬虫和爬取结果展示

2016-03-24

每次都是爬到开始的那个网址，然后就failed了，是怎么回事？谢谢！

已采纳回答 / us4ever

我一开始的时候也是这样，后来发现漏掉了一个return语句，建议把代码从头到尾对照一遍，查查有没有漏写或写错（很容易把url和urls搞错，之类的）

4 回答 900 浏览 7-7 开始运行爬虫和爬取结果展示

2016-03-23

首页上一页 10 11 12 13 14 15 16 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫