为了账号安全,请及时绑定邮箱和手机立即绑定

Python开发简单爬虫

蚂蚁帅帅 全栈工程师
难度初级
时长 1小时14分
学习人数
综合评分9.67
646人评价 查看评价
9.9 内容实用
9.6 简洁易懂
9.5 逻辑清晰

已采纳回答 / 慕无忌8307576
原因:Python默认是以ASCII作为编码方式的,如果在自己的Python源码中包含了中文(或者其他的语言,比如小日本的日语……),此时即使你把自己编写的Python源文件以UTF-8格式保存了;但实际上,这依然是不行的。解决方法:在源码的第一行添加以下语句:# -*- coding: UTF-8 -*-     或者 #coding=utf-8(注:此语句一定要添加在源代码的第一行)

已采纳回答 / 哈_Alexkun
一般英文不会乱码,中文可能乱码。有可能是库版本问题,比如教程里是Python2.7,urllib2,以及文档首行声明utf-8;还有问题的话看能否设置输出编码,windows可能采取默认的GBK编码,OSX下没有问题。

已采纳回答 / 华灯初上丶
楼主,我研究了一个晚上,from bs4 import BeautifulSoup报错No module named 'bs4'问题,琢磨了一个方法。首先,我使用的IDE是PyCharm Python版本3.6,在file选项中选择settings选项点进去<...图片...>然后选择Pro...

已采纳回答 / mk充满爱与正义
如果是URL部分乱码/item/%E7%BC%96%,是因为url采用了再编码--&te(16进制编码解决方法:调用urllib.parse.unquote("/item/%E7%BC%96%")来变回中文注意:变回中文的URL无法用urllib.request.urlopen(URL)来访问,可以在最...

已采纳回答 / 丶coding
pip3 install BeautifulSoup4

已采纳回答 / 不见不散场
第五行  中间的是个逗号不是点

已采纳回答 / 要走心
因为百科页面的词条url改了,你可以在html_parser里面把正则表达式换成(r"/item/*")

已采纳回答 / BugMakerCat
if __name__ == '__main__':是不是这个写错了??

已采纳回答 / 郑小墨
看看你的python27/Lib目录下的urllib2.py里面有没有urlopen   我的python版本是2.7.13,正常

已采纳回答 / 来离
你试试改成 <...code...>

已采纳回答 / 请叫我百度
在代码的最顶上加入# coding:utf-8 

已采纳回答 / 请叫我百度
第一:baike_spider是你创建的包,你所说的url_manager肯定是放在包中的代码,是可以import进去了。第二:只爬取一个网址就结束应该是html_parser中的代码有问题,比如课程中的匹配策略与现在的百度Python词条不匹配,需要改成href = re.compile(r"/item/.*")   再或者find_all  不要丢了下划线,我就没注意到下划线,所以只输出了1条记录就craw faild了。

已采纳回答 / SiCheng_Sheen
我之前也遇到过这种情况,纠结了很久,最后才发现一个非常重要的问题,百度的词条信息发生了变化,你可以仔细看看,现在不再是以 .htm结尾了,之前在html_parser模块中的正则表达式已经失效了,原来是href=re.compile(r"/view/\d+\.htm"),现在应该改为href=re.compile(r'/item/\w+')。这也再次证明了在采集数据前,一定要对目标进行仔细认真的分析!

已采纳回答 / 蛋蛋_JL
beautifulsoup4移入到bs4里面去了。。
课程须知
本课程是Python语言开发的高级课程 1、Python编程语法; 2、HTML语言基础知识; 3、正则表达式基础知识;
老师告诉你能学到什么?
1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码,修改本代码,你就能抓取任何互联网网页!

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消