Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

简单爬虫： canot import soup

最新回答 / qq_甲乙丙丁_0

from bs4 import BeautifulSoup as bssoup = bs(html_cont,"html.parser")

1 回答 520 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-29

爬取之后报错

最新回答 / 慕粉3777834

<...code...>看看定义这个方法有没有出错，级res_data['title']

1 回答 436 浏览

2016-08-28

get_text()是怎么来的？

最新回答 / 慕移动9181930

严格的说span是p标签的第一代子元素，所以用这样方式，如果是第N代元素就要把中间的gt;去掉ycuvqnqtrsqybquwacsqhjeoijlpkhmbalcnlgdzeyuhvyrxwmyexrswrrpbknyydjxsbvewtrdcuhkxmgalnhwmsuaergixysqbxqribqjrggazpqrsccds

3 回答 1217 浏览 7-5 HTML解析器html_parser

2016-08-25

运行不起来啊 ,求解

最赞回答 / qq_甲乙丙丁_0

https://github.com/xuhang96/python_spider_baike 去这对比你的代码

2 回答 966 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-25

爬虫程序无法运行can't find _main_ module in this folder

+ 我来回答回答最高可+2积分

1 回答 1005 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-23

urlparser.jion在python3.5中应该怎么改

最新回答 / 走过驿路

new_full_url =urljoin(page_url,new_url) 也可以吧

3 回答 2231 浏览 7-5 HTML解析器html_parser

2016-08-23

按照演示的方法无论如何也安装不上beautifulsoap啊

最新回答 / 一颗恒心闯天下

先找到路径为python安装路径下的scripts文件夹，在目录上用cmd进去，即可安装。

5 回答 1456 浏览 6-3 BeautifulSoup的语法

2016-08-22

网页打开之后乱码

最新回答 / 慕仔5622197

encoding(utf-8)?

1 回答 1517 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-22

1.同学你好，我们在写程序的时候，有好多判断，比如说链接无效，比如说没有title或者summay数据等都会被返回为异常处理，然后显示为craw failed.2.你可以通过在程序中增加print url来显示你爬取得url,这样即使failed，你也可以自己检验看是否是url真的错误，还是自己程序的问题。有可能出现自己url拼接错误的问题，因为无法看到你的代码，因此无法确定，你可以自己检查一下。

1 回答 518 浏览 7-2 调度程序

2016-08-20

为什么正则的时候出错呢？？

最赞回答 / 宇娃

很明显，这是re模块没有导入的结果。在输入link_node = soup.find('a', href=re.后面按Ctrl +1 ，会提示你导入re 模块，然后回车就行了，这就就导入了re模块，然后代码就可以正常运行了

5 回答 704 浏览 6-4 BeautifulSoup实例测试

2016-08-20

为什么运行出错？？？

最新回答 / y3093

第一行加 # coding:utf8 声明编码格式即可。

2 回答 406 浏览 6-2 BeautifulSoup模块介绍和安装

2016-08-19

爬虫爬出来的内容是b'\n\xe6\x8e\xa5\xe5\x8f\xa3\xe6\ 这样的字符是什么原因？

最赞回答 / 云1234567

我自己也有同样的问题，后来自己给自己解决了，也是参考了别的问题的答案。我再复制一份给你方法一：fout.write("<html><meta charset=\"utf-8\" />")下面这些不需要再写encode('utf-8')fout.write('<td>%s</td>'%data['url']) fout.write('<td>%s</td>'%data['title']) fout.write('<td>...

3 回答 9951 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-19

爬虫可爬url但没有html文件输出，也不能正常工作？

最新回答 / Freid_Q

同问啊

3 回答 2406 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-19

为什么有时候爬虫会卡住不能运行了，但是也没有报错？

最赞回答 / 帽子大大大3830867

然而我找到答案了，原因大概是网络问题，导致 response = urllib2.urlopen(url)没有反应，然后卡死解决方案就是加个timeout： response = urllib2.urlopen(url,timeout=5)这样就能继续往下爬了~

2 回答 7743 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-16

输出时数字和字母

最赞回答 / zhangsunny3313760

<...code...>

1 回答 446 浏览 8-1 课程总结

2016-08-16

首页上一页 55 56 57 58 59 60 61 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫