Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

oouxx

首先肯定明磊大佬的说法。
即使去掉encoding:'uft-8'依然报错，参见：https://bytes.com/topic/python/answers/556312-lookuperror-unknown-encoding-utf-8-a。
f.write('<td>{0}</td>' .format(data['url']))
f.write('<td>{0}</td>' .format(data['title']))
f.write('<td>{0}</td>' .format(data['summary']))

1 7-6 HTML输出器

2018-04-21

这个错误是什么原因？

最新回答 / lakerko

发现是class后面少了一个下划线“_”,为什么要加这个线，在哪找相关的文档？

1 回答 876 浏览

2018-04-21

hellcox

https://github.com/hellcox/spider_entry.git

学习了后写了个python3的爬虫数据入库基于requests

2018-04-19

老师你好，对着你的代码，我编译出现这个，我的是3.6版本

最新回答 / Mzurt

好了，终于运行成功啦！我又看了好几遍视频，原来是UrlManager下的def add_new_url(self,url):这个少写了一个参数

1 回答 1130 浏览 7-3 URL管理器

2018-04-19

慕沐6831548

大赞，！！！！

0 8-1 课程总结

2018-04-18

小小月儿

想学习想学习啊

0 1-1 Python开发简单爬虫课程介绍

2018-04-17

qq_相对丨眩变_0

改了links后，一直只能显示1条，结果找了半天是3个.py文件写错了4个字母。。。

0 7-7 开始运行爬虫和爬取结果展示

2018-04-17

1. 这个软件是什么？？？ 2. 我需要下载那些软件，还有安装那些插件？？？？

+ 我来回答回答最高可+2积分

3 回答 1083 浏览 5-3 Python爬虫urlib2实例代码演示

2018-04-16

baike_spider这个模块不需要写什么吗

最新回答 / qq_相对丨眩变_0

baike_spider不是存放.py文件的包吗？？

1 回答 1027 浏览 7-2 调度程序

2018-04-16

这个爬虫开发程序能用VS做吗

已采纳回答 / 飘过的小呆呆

当然可以我之前是用.NET C#写过爬虫你可以参考下这个网址http://www.cnblogs.com/bqh10086/p/6405121.html c++ 原理也是类似的发送get请求页面数据然后把页面读取成字节流，最后分析字节流保留有用的数据

1 回答 1809 浏览 7-5 HTML解析器html_parser

2018-04-15

pycharm怎么看1000个页面具体信息

最新回答 / qq_Hathaway_0

<...图片...>右击output.html文件，点击copy path，复制链接，然后在浏览器输入

2 回答 1196 浏览 7-7 开始运行爬虫和爬取结果展示

2018-04-15

怎么网页代码不出来

最赞回答 / 慕盖茨4085107

<...code...>

1 回答 858 浏览 5-3 Python爬虫urlib2实例代码演示

2018-04-15

爬了两条就停下来了，还出来个中文

已采纳回答 / 慕容2517008

嗯。。。。因为python的那个百度百科的页面的html代码升级了一哈，原本的抓取URl的代码不能用了，你把parser里面的_get_new_urls这个函数的re.compile语句后面的正则表达式改一下，改成这样re.compile(r"/item/")就ok了

3 回答 1156 浏览 7-7 开始运行爬虫和爬取结果展示

2018-04-15

慕盖茨4085107

学习的东西比较系统，之前看别的相对零散

1 3-2 Python简单爬虫架构的动态运行流程

2018-04-14

慕标7164546

在编写html下载器的download方法的时候不要
if respond.getcode ！= 200
return None
这个判断比较好——来自一个小白的尝试

2018-04-13

首页上一页 32 33 34 35 36 37 38 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫