Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

熊孩子丶她爸

原来我实践过程出现的问题，大家也有遇到啊(；′⌒`)
NameError: name 're' is not defined
缺少正则表达式的re模块，这地方需手动导入import re

51 6-4 BeautifulSoup实例测试

2016-08-12

wangzixue

php到此一游，一脸懵逼

2 7-7 开始运行爬虫和爬取结果展示

2016-08-11

连洛以

新手表示听的很痛苦

0 7-2 调度程序

2016-08-11

正则匹配出现问题，匹配不出结果

最新回答 / haynes

你应该把错误信息贴出来

1 回答 799 浏览 7-5 HTML解析器html_parser

2016-08-10

罡风小天

只爬到一条数据，编译无报错，最后发现是编码问题。解决方法是把输出中文字符的语句写成print u''的形式强转unicode。如果在python文件中指定编码方式为utf-8(#coding=utf-8)，那么所有带中文的字符串都会被认为是utf-8编码的byte string，但是在函数中所产生的字符串则被认为是unicode string。而unicode string 和 byte string 在python中是不可以混合使用的。控制台输出的print语句在循环的函数前面所以才出现第一句成功后面失败这种情况

2016-08-10

welwel

只输出一个：
1.延时，等待一会
2.正则表达式：links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm"))，其中是htm不是html
有必要打印一下try： expect Expect e： print e 对代码有错的很有帮助
就看看别人的代码：http://git.oschina.net/20110516/pyspider/repository/archive/master?utf8=%E2%9C%93&ref=master&captcha=zlxg6k&commit=+%E4%B8%8B%E8%BD%BD

0 7-7 开始运行爬虫和爬取结果展示

2016-08-10

no module named baike_spider

最赞回答 / frgo_03360772

已经解决掉了，去掉from baike_spider 就行了

4 回答 3133 浏览

2016-08-10

超级神之一手

果然强大！感谢老师！

0 8-1 课程总结

2016-08-09

超级神之一手

真是厉害啊！不明觉厉！

0 7-2 调度程序

2016-08-08

s41253047

进入 cmd，可以先运行 python，如果成功显示版本号就可以按照老师说得来，否则要先配置一下python的环境变量：在系统环境配置的 path 里面添加Python 的安装路径。

0 6-2 BeautifulSoup模块介绍和安装

2016-08-08

空谷1015

Very good

2016-08-07

宝慕林7263461

谢谢，讲得好

1 7-1 Python爬虫实例-分析目标

2016-08-07

安静_14

那些个说老师讲的快的人我也是醉了，学爬虫肯定是需要http和DOM的一些基础知识的，不是老师讲的快，是你没有掌握这些基础知识

27 6-3 BeautifulSoup的语法

2016-08-06

我用python3.5写的，只输出一个就报错了，而且output.html中只有<html><body><table></table></body></html>，请问有用python3写的么，求指教

最新回答 / qq_贪嗔痴傻_0

你好，请问你的这个问题解决了吗？我和你出现了同样的问题不知道如何解决，请告知谢谢

2 回答 1445 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-06

为什么我在IE浏览器打开生成的html文件，文件内容没有转换成中文的？

已采纳回答 / 龙德梦

显然是二进制，应该是你在解析的时候没有用utf-8。如果你用了的话，可以换其他浏览器试试，如果是乱码的话，只需要在浏览器中改一下文字编码，改为Unicode编码即可。同样在IE里面也可以这样做。

1 回答 2140 浏览

2016-08-05

流浪在海洋

网上找到的，希望对大家有用：
python3对urllib和urllib2进行了重构，拆分成了urllib.request, urllib.response, urllib.parse, urllib.error等几个子模块，这样的架构从逻辑和结构上说更加合理。
urljoin现在对应的函数是urllib.parse.urljoin

1 7-7 开始运行爬虫和爬取结果展示

2016-08-05

首页上一页 148 149 150 151 152 153 154 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空