Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

流浪在海洋

网上找到的，希望对大家有用：
python3对urllib和urllib2进行了重构，拆分成了urllib.request, urllib.response, urllib.parse, urllib.error等几个子模块，这样的架构从逻辑和结构上说更加合理。
urljoin现在对应的函数是urllib.parse.urljoin

1 7-7 开始运行爬虫和爬取结果展示

2016-08-05

z止于至善

初学Python爬虫

0 1-1 Python开发简单爬虫课程介绍

2016-08-05

main程序运行后什么都没有显示？

+ 我来回答回答最高可+2积分

4 回答 1059 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-05

输出的文件，中文乱码

最新回答 / 龙德梦

建议使用utf-8编码，毕竟这个编码强大。另外是建议你规定一下html的编码格式，代码可以如下修改。<...图片...>望采纳~

1 回答 1126 浏览

2016-08-05

三九七

说的太快了！

0 5-2 Python爬虫urlib2下载器网页的三种方法

2016-08-05

我用 IDLE写的，运行时 >>>a=SpiderMain()>>>a.craw出现这样<bound method SpiderMain.craw of <main.SpiderMain object at 0x03695390>>怎么回事

最新回答 / 慕标1955955

用Eclipse试试，应该就没问题了。我用的Eclipse就很正常

1 回答 396 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-04

我用IDLE写的，运行时出这样

最新回答 / 龙德梦

显然方法没用对啊，a.craw(root_url)。不过还是建议用一个 ide去写。idle的话，感觉方便测试而已。

1 回答 531 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-04

第三种方法怎么错误了

最赞回答 / choosenno1

我这导过包之后还是不行，而且导包之后cookielib为红色浪线，提示Unresloved import：cookielib，求解。。

6 回答 3773 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2016-08-04

cherry_rong

老师讲的很清晰，最后说学好爬虫路还长着呐~好萌，谢谢老师，辛苦啦

1 8-1 课程总结

2016-08-04

马萨诸塞de召唤

大家别做梦了，这课不是说了教的内容爬不了要登录的网站

4 2-2 爬虫技术的价值

2016-08-04

流浪在海洋

跨度比较大，前面学的东西忘了，突然拿过来用，得回头复习看看

0 7-2 调度程序

2016-08-04

AttributeError: addinfourl instance has no attribute 'getcode'

+ 我来回答回答最高可+2积分

4 回答 2133 浏览 5-3 Python爬虫urlib2实例代码演示

2016-08-04

输出器中为什么要新建一个列表，self.datas = [] 和for data in self.datas: 为什么加一个循环

最新回答 / frgo_03360772

data是一个对象，它有三个属性，分别是{url:xx, title:xx, summary:xx}datas里面存放很多这样的data对象，data['xxx']是获取data元素的xxx属性

3 回答 2494 浏览 7-6 HTML输出器

2016-08-03

进行正则匹配捕捉的时候报错

最新回答 / qq_191_0

在开头import re就可以了

1 回答 586 浏览

2016-08-03

Mote0

import urllib.request

0 7-5 HTML解析器html_parser

2016-08-02

allen97

谢谢老师，讲的好棒，让我这么短的时间就可以会写一个简单爬虫，老师要继续更视频！！！

0 7-7 开始运行爬虫和爬取结果展示

2016-08-02

首页上一页 149 150 151 152 153 154 155 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫