Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

这个爬虫开发程序能用VS做吗

已采纳回答 / 飘过的小呆呆

当然可以我之前是用.NET C#写过爬虫你可以参考下这个网址http://www.cnblogs.com/bqh10086/p/6405121.html c++ 原理也是类似的发送get请求页面数据然后把页面读取成字节流，最后分析字节流保留有用的数据

1 回答 1809 浏览 7-5 HTML解析器html_parser

2018-04-15

爬了两条就停下来了，还出来个中文

已采纳回答 / 慕容2517008

嗯。。。。因为python的那个百度百科的页面的html代码升级了一哈，原本的抓取URl的代码不能用了，你把parser里面的_get_new_urls这个函数的re.compile语句后面的正则表达式改一下，改成这样re.compile(r"/item/")就ok了

3 回答 1155 浏览 7-7 开始运行爬虫和爬取结果展示

2018-04-15

module 'http' has no attribute 'cookielibjar'

已采纳回答 / Elpsy

贴代码看看

4 回答 2063 浏览 5-3 Python爬虫urlib2实例代码演示

2018-04-10

print('获取P段落文字')

已采纳回答 / 慕慕tyt

单引号更快运行，还有注意中英文

3 回答 1315 浏览 6-4 BeautifulSoup实例测试

2018-04-09

beautisoup插件安装

已采纳回答 / zjxjwxk

你安装了吗？ cmd窗口中cd 到 Python\Scripts目录下，执行pip install beautifulsoup4 安装然后 from bs4 import BeautifulSoup 就行啦我用的也是Sublime

1 回答 1494 浏览 6-2 BeautifulSoup模块介绍和安装

2018-03-19

语法的问题

已采纳回答 / zhegao

约定. 就像你现在写的中文我能看懂一样. 这个模块的开发者让自己的程序这样去解读, 不过是中间转换一层罢了.

1 回答 676 浏览 6-4 BeautifulSoup实例测试

2018-03-18

print response1.getCode() AttributeError: addinfourl instance has no attribute 'getCode'

已采纳回答 / 橙子味的于归

代码示例里是getcode()，你的事getCode()

1 回答 1546 浏览 5-3 Python爬虫urlib2实例代码演示

2018-03-15

pip安装模块位置求解

已采纳回答 / 大码哥

pychrm每次新建工程会默认建一个Python环境，改下就行。pychrm右上角运行左边有个菜单选项，点进去选择edit开头那个，把Python interpreter那栏选择为你的Python程序，点击OK，之后你安装的模块就正常导入使用了

2 回答 3226 浏览 6-2 BeautifulSoup模块介绍和安装

2018-03-12

global name 'BeautifulSoup' is not defined

已采纳回答 / kruskal

同学有没有安装BeautifulSoup

1 回答 5556 浏览 7-7 开始运行爬虫和爬取结果展示

2018-02-19

请问各位大神有没有3.6版本的最后那个项目源码

已采纳回答 / 纯爱枫若情

我用的就是Python 3.6.1，你可以去我的github看源码，我自己做了一些修改，上面还提供了爬取后的生成的页面的效果图

1 回答 1270 浏览 7-7 开始运行爬虫和爬取结果展示

2018-01-25

爬虫这课程的代码呢？

已采纳回答 / chenjunjie

<...code...>

2 回答 1485 浏览 5-1 Python爬虫网页下载器简介

2018-01-22

soup = Beautiful(xxx,'html.parser',xxx)

已采纳回答 / 无人与我书半生

是指定Beautiful的解析器为“html.parser”还有BeautifulSoup(markup,"lxml")BeautifulSoup(markup, "lxml-xml") BeautifulSoup(markup,"xml")等等很多种

2 回答 3493 浏览 7-5 HTML解析器html_parser

2018-01-10

TypeError: 'NoneType' object is not iterable 怎么解决啊?

已采纳回答 / 慕姐7359191

页面 html_downloader.py15行 print response.read() 更改为 return response.read()

1 回答 3097 浏览 7-7 开始运行爬虫和爬取结果展示

2018-01-04

为什么解析后的url要放进url管理器里？

已采纳回答 / Lovins

添加到 url管理器中才能循环访问 url，爬取相关数据。如果不添加进去，只会爬取 root_url的数据了。

1 回答 1340 浏览 7-2 调度程序

2017-12-22

首页上一页 1 2 3 4 5 6 7 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫