为了账号安全,请及时绑定邮箱和手机立即绑定

PYTHON爬虫 这句正则不知道该怎么写

PYTHON爬虫 这句正则不知道该怎么写

GCT1015 2019-02-22 20:03:33
刚开始学python,对爬虫和正则表达式这部分还不是很熟悉。 我现在准备爬取下面这段源码的href和title部分,爬href中的网址后,要在每个网址前面加上"http://www.infoq.com" ,用到的库是urllib2和re. 我现在碰到的问题时,我能够把网址或者title单独爬下来,但是没有办法一起爬下来。同时爬下来后有重复,因为网址和title在下面的源码中出现了两次。我不知道这个正则表达该怎么写才正确。求教各位前辈指点迷津~ href="/cn/presentations/kanban-instantiation" title="实例化看板"> <div class="movie"> <img src="http://cdn.infoqstatic.com/statics_s2_20150424-0221/resource/presentations/kanban-instantiation/zh/mediumimage/Snip20140804_27.png"/> <span class="videolength">33:08</span> </div> </a> <h2 class="itemtitle"> <a href="/cn/presentations/kanban-instantiation" title="实例化看板"> 实例化看板 </a>
查看完整描述

4 回答

?
明月笑刀无情

TA贡献1828条经验 获得超4个赞

谈一点个人最近写爬虫的看法,可能有点答不对题。
最近和班里的人一起在用python写爬虫,有同学写爬虫的时候用正则表达式去来寻找html元素的方式。但是反应正则表达式有点难,解析起来非常费劲。
正则表达式这个东西我个人的看法是会用就行,实在不行了再自己写。
剩下的很多同学写爬虫都是采用htmlparser和beautifulsoup,就是利用第三方库,这样写起来非常的方便,不用写复杂的正则表达式了。很快就能上手而且效率上也很高。
推荐一篇我入门爬虫的文章,希望对你有帮助
iOS程序员如何使用python写网路爬虫

查看完整回答
反对 回复 2019-03-01
?
慕沐林林

TA贡献2016条经验 获得超9个赞

用 xpath,正则能不用尽量不用。

查看完整回答
反对 回复 2019-03-01
?
子衿沉夜

TA贡献1828条经验 获得超3个赞

一直都是用 urllib + re 写爬虫的。。
楼主可以试一下scrapy

查看完整回答
反对 回复 2019-03-01
  • 4 回答
  • 0 关注
  • 571 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信