Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

控制台什么都没有输出

最新回答 / pickleRick

这位同学先发截图吧....

1 回答 723 浏览 7-6 HTML输出器

2018-08-07

第三种方法报错

最赞回答 / 滑滑鸡

代码import部分加入import cookielib即可解决本人使用Python2出现的问题，仅供参考，适人而异。

2 回答 987 浏览 5-3 Python爬虫urlib2实例代码演示

2018-08-06

第二个输出就不正确了

最新回答 / 滑滑鸡

别着急，喝口水，慢慢说，把问题说清楚。

1 回答 554 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-05

我也遇到了这个问题，我已经解决了。系统为Win7, Pycharm Community Edition5.0.1。先把第一行的from baike_spider去掉，然后光标放到UrlManager再Alt+Enter键出来选择下拉列表，选择第一个，创建了class UrlManager()。之后可以看到url管理器的几个方法都已经高亮显示了。把光标add_new_url（）按Alt+Enter键可以创建该方法。

1 回答 852 浏览 7-2 调度程序

2018-08-05

obj_spider = SpiderMain() 这句话什么作用？

最新回答 / 滑滑鸡

将SpiderMain的函数返回存储在obj_spider中

1 回答 1098 浏览 3-1 Python简单爬虫架构

2018-08-05

如果链接是用脚本写的，该如何爬取这个链接？

最新回答 / 在学Python

那个网页是ajax加载的

1 回答 615 浏览 8-1 课程总结

2018-08-04

python正则表达式匹配一字符串不匹配另一字符串，我要匹配http://example.webscraping.com/places/default/view/Antigua-and-Barbuda-10 不匹配http://example.webscraping.com/places/default/user/login?_next=/places/default/view/Antigua-and-Barbuda-10

最新回答 / 可怜的可爱的小晕晕

^http://example.webscraping.com/places/default/view

2 回答 820 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-04

从第二种方法就开始报错？？求大神指导一下！

已采纳回答 / Jodi_7

request.add_header("user_agent" , "Mozilla/5.0");这行要对应你的浏览器版本

3 回答 821 浏览 5-3 Python爬虫urlib2实例代码演示

2018-08-02

无任何结果

最新回答 / qq_passerby_13

from bs4 import BeautifulSoupimport reimport urlparseclass HtmlParser(object): def _get_new_urls(self, page_url, soup): new_urls=set() links=soup.find_all('a',href=re.compile(r"/view/\d+\.html")) for link in links: ne...

2 回答 1081 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-31

post请求实例

+ 我来回答回答最高可+2积分

0 回答 794 浏览

2018-07-31

第一句输出网址，第二句craw faild,然后就没了，try语句去掉后这样报错怎么办？

+ 我来回答回答最高可+2积分

3 回答 1038 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-28

空城_244163788

最新demo加注释：https://github.com/Goldlong1/baike

3 2-2 爬虫技术的价值

2018-07-27

照搬的代码，输出后是这样

最赞回答 / 慕码人0182688

你是用的2.x还是3.x，我这个是3.6的，你看看<...图片...>

1 回答 1011 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-27

TypeError: argument of type 'NoneType' is not iterable

最新回答 / 风中沙

贴错误也要把对应行的代码贴出来，别人才能帮你解决问题。

1 回答 1707 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-26

'SpiderMain' object has no attribute 'craw'

+ 我来回答回答最高可+2积分

0 回答 1356 浏览

2018-07-25

使用python3后的问题警告如下

最赞回答 / scale0116

我也是用的Python3，第一次运行的时候也出现这样的warning，后来我查了一下发现在python3中，默认为UTF-8，所以要去掉报错的话只要去掉下面这句就行。

from_encoding='utf-8'

改成<...code...>你再运行一下就可以发现不报错了

3 回答 2121 浏览 6-4 BeautifulSoup实例测试

2018-07-25

首页上一页 22 23 24 25 26 27 28 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫