为了账号安全,请及时绑定邮箱和手机立即绑定

python3 BeautifulSoup方面问题

python3 BeautifulSoup方面问题

达令说 2018-07-22 07:59:16
from collections import Counterimport requestsfrom bs4 import BeautifulSoupfrom urllib import requestimport urllib url = 'http://www.baidu.com.cn/s?wd=' + urllib.parse.quote('BeautifulSoup') + '&pn='  # word为关键词,pn是百度用来分页的.. headers = {     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',     'Connection': 'keep-alive',        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'} r=requests.get(url,headers=headers) soup = BeautifulSoup(r.text.replace('<b>', '').replace('</b>', ''),'lxml')print(soup.find(id="3").find('a', 'c-showurl').string) #for i in range(1, 11): #    print(soup.find(id=i).find('a', 'c-showurl').string)问题主要在最后三行,如果find(id="3")就行find(id=i)就报错,请问如何解决?还有个问题,就是为何通过python取的搜索结果与电脑搜索到的结果不同?
查看完整描述

1 回答

?
慕妹3242003

TA贡献1824条经验 获得超6个赞

第一个问题,id="3" 是str,id=i是int,当然不一样了,改成id=str(i)
第二个问题,页面是不是有js加载的数据,你是想说要获取这样的吗

https://img1.sycdn.imooc.com//5b551b7d0001b28508000594.jpg

如果是这样你代码中元素定位就要改一下

查看完整回答
反对 回复 2018-07-23
  • 1 回答
  • 0 关注
  • 417 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信