为了账号安全,请及时绑定邮箱和手机立即绑定

Python开发简单爬虫

蚂蚁帅帅 全栈工程师
难度初级
时长 1小时14分
学习人数
综合评分9.67
646人评价 查看评价
9.9 内容实用
9.6 简洁易懂
9.5 逻辑清晰

已采纳回答 / 弹指江山
这个视频是python2.7 的,如果用Python3.x 导入的包都需要改变的,添加类的问题,看你用的IDE不同,自动生成类的方式也不一样,可以手动创建

已采纳回答 / qq_匠邮心生_03449154
在获取全部链接的循环后面加上代码:    print type(link),type(links)结果为:<class 'bs4.element.Tag'> <class 'bs4.element.ResultSet'>说明soup.find_all的返回结果links是一个自定义的类,node也是一种自定义的类for i in range(3):    print links[i].name, links[i]['href'],links[i].get_text(),links[...

已采纳回答 / charsandrew
可以的,只是比较麻烦,组织程序也只是自动帮你完成一些项目的创建,这些都是可以通过idle手动完成的1,要创建一个baike_spider的文件夹,2在文件夹里创建一个名为__init__.py的文本文件,内容可以为空(如果你自己看视频,会看到老师在创建包后,编辑器自动添加了一个__init__.py的文件,这里我们要手动创建)3,在文件夹里写入各个模块4. 将该文件夹放到python安装路径下的lib文件夹里,运行主函数,/还有一种方法是修改命名空间的搜索路径给你个链接可以看看:http://edu.cs...

已采纳回答 / Mpetrel
request = urllib2.urlopen(url)这里应该是request = urllib2.Request(url)吧

最赞回答 / mk908429705
在html_outputer中加fout.write('<head><meta charset="utf-8"></head>'),可以试一下

已采纳回答 / nana823
某些网站反感爬虫的到访,于是对爬虫一律拒绝访问。这时我们需要伪装成浏览器,可以通过修改http包中的header来实现。将标签a数据添加1

已采纳回答 / SunCherryDream
需要定义构造函数与,在构造函数中对new_urls进行初始化,构造函数代码如下def __init__(self):        self.new_urls = set()        self.old_urls = set()

已采纳回答 / 李昌盛同学
我写完了,你需要我留邮箱我发给你。

已采纳回答 / qq_岳怒扇_0
你可以看看生成的html文件内容格式对不对啊
课程须知
本课程是Python语言开发的高级课程 1、Python编程语法; 2、HTML语言基础知识; 3、正则表达式基础知识;
老师告诉你能学到什么?
1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码,修改本代码,你就能抓取任何互联网网页!

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消