Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

慕粉2246096466

fout.write("<td>%s</td>" % data['title'].encode('utf-8'))
fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))
这两句不需要encode('utf-8')，加了这个title和summary就变成十六进制显示的字符了。需要在这一句fout = open('output.html', 'w', encoding='utf-8')加上encoding='utf-8'

7 7-7 开始运行爬虫和爬取结果展示

2017-10-19

weibo_我叫郝快乐_0

为什么到35s就进行不下去了……

0 1-1 Python开发简单爬虫课程介绍

2017-10-19

jayson118

对于新手来说，可以把spider_main.py代码中的try和except去掉，运行报错就会在控制台出现，根据错误去调试自己的程序，导入包的问题，代码书写错误的问题等等，改了半天终于可以正常爬取了

3 7-7 开始运行爬虫和爬取结果展示

2017-10-19

小鑫fork

写的很好 666

2017-10-19

hide_stone

这1-2分钟的视频，比10多分钟的视频的效率高太多，这就是干货吧！

3 4-1 Python爬虫URL管理

2017-10-18

我其实是一名嘿客

纠正一下，有可能你从https://www.crummy.com/software/BeautifulSoup/bs4/doc/复制下来的文档里面Lacie是lacie，老师那里的原文是Lacie，所以老师没报错

0 6-4 BeautifulSoup实例测试

2017-10-17

我其实是一名嘿客

AttributeError: 'NoneType' object has no attribute 'name' 的错误应该是link_node = soup.find("a", href="http://example.com/Lacie")，把里面的Lacie改成lacie . 因为测试文档href里面的L是小写的，但是不知道老师的为什么能成功。

0 6-4 BeautifulSoup实例测试

2017-10-17

Xiaorenwull

基于本视频编写的代码：https://github.com/Reoger/py

1 7-1 Python爬虫实例-分析目标

2017-10-17

北极星116

python3.6调试运行成功:
https://github.com/yangly116/crawler.git

1 7-7 开始运行爬虫和爬取结果展示

2017-10-16

慕粉1920423967

如果只打印了一行craw1：https：//。。。。
请把try except去掉，检查错误
一般都是拼写错误

0 7-5 HTML解析器html_parser

2017-10-15

慕粉1920423967

打卡学习！

0 7-2 调度程序

2017-10-15

慕斯6458239

教程不错，就是这声音让人。。。

0 8-1 课程总结

2017-10-14

枫雨

【2017/10/12】【Python3.6.2】【PyCharm 2017.2】【Chrome】
对于中文问题，实际上只需
fout = open('output.html','w', encoding='utf-8')
以及
urllib.parse.unquote(data['url'],encoding='utf-8')
即可。

3 7-7 开始运行爬虫和爬取结果展示

2017-10-12

bingovhh

1.抓取的第一个网页：root_url = "https://baike.baidu.com/item/%E5%91%A8%E6%9D%B0%E4%BC%A6"
2.正则表达式匹配URL编码：links = soup.find_all('a', href=re.compile(r'/item/[\\%\\w]+'))

2 7-7 开始运行爬虫和爬取结果展示

2017-10-12

慕少7461383

File "E:/Helloworld/baike_spider/spider_main.py", line 19, in craw
new_urls, new_data = self.parser.parse(new_url, html_cont)
TypeError: 'NoneType' object is not iterable

Process finished with exit code 1

1 7-7 开始运行爬虫和爬取结果展示

2017-10-12

首页上一页 27 28 29 30 31 32 33 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫