Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

大学生学编程

# coding utf_8
import urllib.error
import urllib.request
from pip._vendor.requests.api import request
from http.cookiejar import CookieJar
url="http://www.baidu.com"
print ("first")
response=urllib.request.urlopen(url)

print (response.getcode())
print (len(response.read()))

1 5-3 Python爬虫urlib2实例代码演示

2017-04-16

总是不一样

给老师点个赞

0 8-1 课程总结

2017-04-14

qq_wolverine_13329079

For python 3.x:
import http.cookiejar
cj = http.cookiejar.CookieJar

2 5-2 Python爬虫urlib2下载器网页的三种方法

2017-04-13

PlayingwithFire

GitHub : https://github.com/PlayingWithFlame/imoocWebCrawler

本课程源码，运行环境Python3.6，纠正了一些错误以及浏览器显示中文乱码问题

8 7-7 开始运行爬虫和爬取结果展示

2017-04-12

小佳佳QAQ

思路清晰，图标得当，受益匪浅。

2 4-2 Python爬虫URL管理器的实现方式

2017-04-12

小佳佳QAQ

居然还有时序图，教程简约而不简单呢。

4 3-2 Python简单爬虫架构的动态运行流程

2017-04-12

leeonleon

发现只抓取了一条就出错的或者运行不了的同学请把spider_main里面的异常捕捉先不要写，这样运行的时候就能知道错在哪里了。

2 7-7 开始运行爬虫和爬取结果展示

2017-04-12

qq_半夜月半央_0

craw 1: http://baike.baidu.com/item/Python
craw 2: http://baike.baidu.com/item/史记·2016?fr=navbar
craw failed

4 7-7 开始运行爬虫和爬取结果展示

2017-04-11

qq_Oak_0

我终于运行成功了，出错在html_downloader.py，里面有个if url is None: 我写成了 if url in None: 然后运行后只出一条结果，然后报错argument of type 'NoneType' is not iterable。craw failed。可以参考我的博客，http://blog.csdn.net/stopcpp/article/details/69946607

0 7-7 开始运行爬虫和爬取结果展示

2017-04-10

慕哥8606333

AttributeError: 'spiderMain' object has no attribute 'urls' 这个错误是def __init__(self)处要双下划线

4 7-3 URL管理器

2017-04-10

慕哥8606333

AttributeError: 'spiderMain' object has no attribute 'urls' 这个错误是 def __init__(self)处必须是双下划线！找了我一上午才找到。。

3 7-3 URL管理器

2017-04-10

慕粉4004169

我爬出来的结果是这样的。。。
craw 1 : http://baike.baidu.com/item/Python
craw failed
看来需要自己修改python的正则表达式

0 7-7 开始运行爬虫和爬取结果展示

2017-04-09

慕粉4004169

另外不用写class_ = 'title',直接写'title'也能正常打印结果，亲测可行，但是写name_ = 'p'就无法正常打印，必须写'p'

2 6-4 BeautifulSoup实例测试

2017-04-09

慕粉4004169

亲测必须要在from bs4 import Beautifulsoup后面加上import re，不然会报错，多谢楼上大神指点

0 6-4 BeautifulSoup实例测试

2017-04-09

self_OREO

百度了半天没解决看评论三十秒解决了问题

2 6-2 BeautifulSoup模块介绍和安装

2017-04-08

首页上一页 50 51 52 53 54 55 56 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫