为了账号安全,请及时绑定邮箱和手机立即绑定

Python开发简单爬虫

蚂蚁帅帅 全栈工程师
难度初级
时长 1小时14分
学习人数
综合评分9.67
646人评价 查看评价
9.9 内容实用
9.6 简洁易懂
9.5 逻辑清晰

最新回答 / qq_江仔_0
def _get_new_urls(self, curr_url, soup):    new_urls = set()    links = soup.find_all('a', href=re.compile(r"/item/*"))正则表达式的内容改下就行,网页格式变了

已采纳回答 / 龙虾_V
if __name__=="__main__"

已采纳回答 / 慕粉3755788
将pycharm设置为Eclipse快捷键

已采纳回答 / 墨尔卡娜
当第一个页面被分析之后,会获取到该页面上的其他词条的跳转url,也就是/view/*****.html,然后这些url会被拼装成完整的url加入到set中,程序循环一次之后检查set是否为空,如果不为空就会拿一个新的url去爬取,新的页面也会有些引用的词条的,然后就源源不断的有新的词条地址添加到set中去了,代码就是分析模块中使用正则表达式的那部分

已采纳回答 / Duiknow
代码没有报错是因为你有自定义报错的try  except    应该是哪里你出现了拼写错误或者判断条件写错了   运行跟踪调试下就可以了   代码刚刚测试过没有问题

讲师回答 / 蚂蚁帅帅
<...图片...>如果是chrome浏览器的话,这样子设置一下编码。如果是其他浏览器的话,在菜单找一下。设置一下编码就好了。

已采纳回答 / 黑历史不删除后果很严重
建议你一步一步,逐个函数调试,光看源代码比较难找出错误所在,可以在每个方法打印是否成功运行,找到出错的方法后再找出错的变量。这样一定可以调试出来的,加油!

最赞回答 / 慕标6571706
已经解决win7 python3.6 遇到乱码的情况同明磊只需要在fout = open('output.html', 'w', encoding = 'utf-8') fout.write("<td>%s</td>" % data['title']) fout.write("<td>%s</td>" % data['summary'])这里面不能加.encode('utf-8'),加了会乱码fout.write("<head><meta ...

已采纳回答 / Dreaman
已经解决啦  我在html_downloader下的read()后加了response.read().decode('utf8',errors='replace')把html_outputer里面的encode()去掉就好了
课程须知
本课程是Python语言开发的高级课程 1、Python编程语法; 2、HTML语言基础知识; 3、正则表达式基础知识;
老师告诉你能学到什么?
1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码,修改本代码,你就能抓取任何互联网网页!

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消