Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

控制台什么都没有输出

最新回答 / pickleRick

这位同学先发截图吧....

1 回答 722 浏览 7-6 HTML输出器

2018-08-07

第三种方法报错

最赞回答 / 滑滑鸡

代码import部分加入import cookielib即可解决本人使用Python2出现的问题，仅供参考，适人而异。

2 回答 986 浏览 5-3 Python爬虫urlib2实例代码演示

2018-08-06

第二个输出就不正确了

最新回答 / 滑滑鸡

别着急，喝口水，慢慢说，把问题说清楚。

1 回答 553 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-05

我也遇到了这个问题，我已经解决了。系统为Win7, Pycharm Community Edition5.0.1。先把第一行的from baike_spider去掉，然后光标放到UrlManager再Alt+Enter键出来选择下拉列表，选择第一个，创建了class UrlManager()。之后可以看到url管理器的几个方法都已经高亮显示了。把光标add_new_url（）按Alt+Enter键可以创建该方法。

1 回答 851 浏览 7-2 调度程序

2018-08-05

obj_spider = SpiderMain() 这句话什么作用？

最新回答 / 滑滑鸡

将SpiderMain的函数返回存储在obj_spider中

1 回答 1097 浏览 3-1 Python简单爬虫架构

2018-08-05

如果链接是用脚本写的，该如何爬取这个链接？

最新回答 / 在学Python

那个网页是ajax加载的

1 回答 614 浏览 8-1 课程总结

2018-08-04

python正则表达式匹配一字符串不匹配另一字符串，我要匹配http://example.webscraping.com/places/default/view/Antigua-and-Barbuda-10 不匹配http://example.webscraping.com/places/default/user/login?_next=/places/default/view/Antigua-and-Barbuda-10

最新回答 / 可怜的可爱的小晕晕

^http://example.webscraping.com/places/default/view

2 回答 819 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-04

无任何结果

最新回答 / qq_passerby_13

from bs4 import BeautifulSoupimport reimport urlparseclass HtmlParser(object): def _get_new_urls(self, page_url, soup): new_urls=set() links=soup.find_all('a',href=re.compile(r"/view/\d+\.html")) for link in links: ne...

2 回答 1080 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-31

post请求实例

+ 我来回答回答最高可+2积分

0 回答 793 浏览

2018-07-31

第一句输出网址，第二句craw faild,然后就没了，try语句去掉后这样报错怎么办？

+ 我来回答回答最高可+2积分

3 回答 1037 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-28

照搬的代码，输出后是这样

最赞回答 / 慕码人0182688

你是用的2.x还是3.x，我这个是3.6的，你看看<...图片...>

1 回答 1010 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-27

TypeError: argument of type 'NoneType' is not iterable

最新回答 / 风中沙

贴错误也要把对应行的代码贴出来，别人才能帮你解决问题。

1 回答 1706 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-26

'SpiderMain' object has no attribute 'craw'

+ 我来回答回答最高可+2积分

0 回答 1355 浏览

2018-07-25

使用python3后的问题警告如下

最赞回答 / scale0116

我也是用的Python3，第一次运行的时候也出现这样的warning，后来我查了一下发现在python3中，默认为UTF-8，所以要去掉报错的话只要去掉下面这句就行。

from_encoding='utf-8'

改成<...code...>你再运行一下就可以发现不报错了

3 回答 2120 浏览 6-4 BeautifulSoup实例测试

2018-07-25

title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")有什么错

最新回答 / 本本小生

修改成：title_node = soup.find('dl', class_='lemmaWgt-lemmaTitle lemmaWgt-lemmaTitle-').find('h1')
因为百度百科有些页面里没有 （'dd',class='lemmaWgt-lemmaTitle-title'）这个元素。
但是一定会有('dl', class_='lemmaWgt-lemmaTitle lemmaWgt-lemmaTitle-')。
我也是测试半天才发现这个原因的，希望能帮到你。

3 回答 1834 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-23

首页上一页 15 16 17 18 19 20 21 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫