Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

状态码的问题

最赞回答 / 所为伊人

如果某项请求发送到您的服务器要求显示您网站上的某个网页（例如，用户通过浏览器访问您的网页或 Googlebot 抓取网页时），服务器将会返回 HTTP 状态码响应请求。此状态码提供关于请求状态的信息，告诉 Googlebot 关于您的网站和请求的网页的信息。一些常见的状态码为：200 – 服务器成功返回网页404 – 请求的网页不存在503 – 服务器超时下面提供 HTTP 状态码的完整列表。点击链接可了解详情。您也可以访问 HTTP 状态码上的 W3C 页获取更多信息。1xx（临时响应）表示临时响应并...

2 回答 439 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2017-01-05

慕粉083902307

老师讲得挺好的。。继续学习

2017-01-05

imooc开心

bs4 安装上了，但是import bs4 print bs4 以后，显示没有安装相应的模块，提示安装失败。。。在window下运行的

0 6-2 BeautifulSoup模块介绍和安装

2017-01-04

慕粉_php

讲的真的很好，学过python基础语法的很好理解

0 5-2 Python爬虫urlib2下载器网页的三种方法

2017-01-04

print "craw %d : %s\n" % (count, new_url)

+ 我来回答回答最高可+2积分

1 回答 555 浏览

2017-01-03

李明洋

老师声音铿锵有力啊

2 6-3 BeautifulSoup的语法

2017-01-03

李明洋

踩坑，，python3第一种方法，如下写。
# conding:utf8
import urllib.request

url = "https://www.baidu.com"
print("第一种方法")
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))

有两点，低一点print已经是一个方法了，第二点urllib2已经和urllib合并了，在python3中只有urllib，而且urlopen方法在urllib.request上。

7 5-3 Python爬虫urlib2实例代码演示

2017-01-03

Yi罐可乐

python 3 版本代码：

https://github.com/zaxlct/baike_spider
带注释

3 7-7 开始运行爬虫和爬取结果展示

2017-01-02

Yi罐可乐

python 3 版本代码：
https://github.com/zaxlct/baike_spider

0 7-7 开始运行爬虫和爬取结果展示

2017-01-02

櫻桃小王子

这只能爬没有js的页面，碰上js就没用了

2017-01-01

只抓取了一条就结束了，怎么回事啊？

最新回答 / cryengine3

本人新手，想照着写个爬虫练练手，结果给我来了个下马威

1 回答 744 浏览

2017-01-01

cryengine3

pytharm里是alt+Enter

5 7-2 调度程序

2017-01-01

慕粉18697327950

在python3中安装会出现问题，安装方式“自行下载插件，解压后拷贝到python安装目录中的lib目录下，打开cmd进入插件的目录，输入python setup.py install,即可安装。”
import bs4 会出现不能运行情况提示使用python2
解决方案：
cd到 bs4 目录，然后运行D:\p\Lib\beautifulsoup4-4.5.1>python D:\p\Tools\scripts\2to3.py -w bs4

0 6-2 BeautifulSoup模块介绍和安装

2016-12-31

慕粉18697327950

在建立文件时候不要命名 urllib 否则会一直报错AttributeError: ‘module’ object has no attribute’xxx’

3 5-3 Python爬虫urlib2实例代码演示

2016-12-31

报错无法运行

最新回答 / 六边形怪瓜

报错信息说明 soup.find("dd",class_="lemmaWgt-lemmaTitle-title") 这一段没找到东西，所以返回的是None，你继续对None调用find函数当然就报错了，代码是这样没错，这说明爬取的网页格式不对，你可以再这行前面输出page_url，自己在浏览器访问后用教程中的方法审查元素，看看是网页的什么问题

2 回答 727 浏览 7-7 开始运行爬虫和爬取结果展示

2016-12-30

首页上一页 120 121 122 123 124 125 126 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空