Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

SiCheng_Sheen

print('Second Method')
req = request.Request(url)
req.add_header('user-agent', 'Mozilla/5.0')
response2 = request.urlopen(req)
print(response2.getcode())
print(len(response2.read()))

0 5-3 Python爬虫urlib2实例代码演示

2017-05-05

SiCheng_Sheen

from urllib import request
import http.cookiejar

url = 'http://www.baidu.com'

print('First Method')
response1 = request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))

0 5-3 Python爬虫urlib2实例代码演示

2017-05-05

qq_HealthyisWea_0

最好的老师，没有之一，哈哈

1 1-1 Python开发简单爬虫课程介绍

2017-05-05

爬虫运行出出现的错误

已采纳回答 / SiCheng_Sheen

我之前也遇到过这种情况，纠结了很久，最后才发现一个非常重要的问题，百度的词条信息发生了变化，你可以仔细看看，现在不再是以 .htm结尾了，之前在html_parser模块中的正则表达式已经失效了，原来是href=re.compile(r"/view/\d+\.htm")，现在应该改为href=re.compile(r'/item/\w+')。这也再次证明了在采集数据前，一定要对目标进行仔细认真的分析！

4 回答 1047 浏览 7-7 开始运行爬虫和爬取结果展示

2017-05-05

qq_丢三落四的少年_0

讲得挺通俗易懂的，零基础听的也可以听的懂

0 8-1 课程总结

2017-05-05

有生

讲的很好啊一直不明白的终于懂了

1 6-3 BeautifulSoup的语法

2017-05-04

有生

学习了学习了免费视频感谢!

1 5-1 Python爬虫网页下载器简介

2017-05-04

有生

学习了学习了免费视频感谢!

1 4-2 Python爬虫URL管理器的实现方式

2017-05-04

有生

学习了学习了免费视频谢谢!

1 3-2 Python简单爬虫架构的动态运行流程

2017-05-04

程序崩溃啊

最新回答 / 读者123

不知你的myeclipse有没有python环境，最好展出源码看看

1 回答 485 浏览 6-3 BeautifulSoup的语法

2017-05-04

为什么我代码和老师一样，URL也改成现在百度百科用的格式了，运行程序没有反应呢

最新回答 / 慕神536367

代码贴出来看一看吧可能哪里写错了

1 回答 436 浏览 7-2 调度程序

2017-05-04

椰子之旅

1.url: urlopen().getCode() ==200
Request , url,data,header

0 5-2 Python爬虫urlib2下载器网页的三种方法

2017-05-03

椰子之旅

url管理器：内存，关系数据库，redis

1 4-2 Python爬虫URL管理器的实现方式

2017-05-03

幕布斯7498504

讲的很详细

2 3-2 Python简单爬虫架构的动态运行流程

2017-05-03

为什么我的只爬了条就失败了，和老师的代码一样的。结果就出了一个craw 1 : http://baike.baidu.com/item/Python craw failed

最赞回答 / SiCheng_Sheen

5 回答 959 浏览 7-7 开始运行爬虫和爬取结果展示

2017-05-03

首页上一页 95 96 97 98 99 100 101 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空