为了账号安全,请及时绑定邮箱和手机立即绑定

Python开发简单爬虫

蚂蚁帅帅 全栈工程师
难度初级
时长 1小时14分
学习人数
综合评分9.67
646人评价 查看评价
9.9 内容实用
9.6 简洁易懂
9.5 逻辑清晰

已采纳回答 / weibo_骆驼爱上跳舞的Bud_0
你要看你爬的数据的标签比如:<div class=666></div>,你就需要改成
soup.find('div',class_='')

最新回答 / Grace清风
<...图片...>把craw下面的代码对齐试试,其他该对齐的也对齐,我的就经常因为对不齐报错,个人建议,希望有用。
爬虫爬到几十条的时候就不动了 去掉try也不抛出异常 这可能是什么原因呢

最新回答 / 慕斯卡5123579
我的是初始化的时候写错了,初始化时def __init__(self),我写成了def__int__,所以没有引用成功
2018-10-30,Python开始

最赞回答 / x_tony
你是用什么软件做开发的,是pycharm吗?你需要把你的软件和python的解释器关联起来,设置方法是:file->setting->Project(你的项目名称)->Project Interpreter,打开后,可以看到右边有个选择解释器interpreter的下拉菜单,在那里选择你所安装的python解释器,然后看到下面的Package,这一栏的右边上角有个“+",点一下那里,在那里搜索beautifulsoup4,找到后,点击选中,然后看下面有个installpakage按钮,点...

最新回答 / qq__eqwGTW
bs4 是BeautifulSoup里的一个方法,from bs4 代表只导入这一个,不写from代表导入所有的

已采纳回答 / zhegao
这是 python 的赋值方式, 可以把一个序列赋给对应的变量。 在 python3中还支持如下的赋值方式:first,*middle,last = (1,2,3,4,5,6,7,8)这样 first=1, *middle=[2,3,4,5,6,7], last=8

最新回答 / 天天_
就是让爬虫伪装成浏览器请求方式,请求页面

最新回答 / YAAnnnnnnnnn
self.manager.add_new_url(new_urls)
修改为:
for ele in new_urls:    self.manager.add_new_url(ele)
即可。
课程须知
本课程是Python语言开发的高级课程 1、Python编程语法; 2、HTML语言基础知识; 3、正则表达式基础知识;
老师告诉你能学到什么?
1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码,修改本代码,你就能抓取任何互联网网页!

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消