Python Beautiful Soup 返回无类型

Question

我正在尝试开发一个程序，可以为英雄联盟中的特定冠军获取符文。这是我的代码：import requestsimport refrom bs4 import BeautifulSoupurl = 'https://www.leagueofgraphs.com/zh/champions/builds/darius'response = requests.get(url).textsoup = BeautifulSoup(response,'lxml')tables = soup.find('div',class_ = 'img-align-block') print(tables)这是原始的 HTML 文件：<img src="//cdn2.leagueofgraphs.com/img/perks/10.8/64/8010.png" alt="征服者" tooltip="<itemname><img src=&quot;//cdn2.leagueofgraphs.com/img/perks/10.8/64/8010.png&quot; width=&quot;24&quot; height=&quot;24&quot; alt=&quot;征服者&quot; /> 征服者</itemname><br/><br/>基礎攻擊或技能在命中敵方英雄時獲得 2 層征服者效果，持續 6 秒，每層效果提供 2-5 適性之力。 最多可以疊加 10 次。遠程英雄每次普攻只會提供 1 層效果。<br><br>在疊滿層數後，你對英雄造成的 15% 傷害會轉化為對自身的回復效果（遠程英雄則為 8%）。" height="36" width="36" class="requireTooltip">我无法访问这部分并对其进行解析，也无法找到 IMG src。但是，我可以在他们的网站上浏览这个。我该如何解决这个问题？

Answer 1

您感兴趣的部分不在 HTML 中。您可以通过搜索仔细检查：

soup.prettify()

网站的某些部分可能加载了 JavaScript，因此您可以使用打开浏览器并访问该页面的代码。例如，您可以使用硒

from selenium import webdriver

import time

driver = webdriver.Firefox()

driver.get(url)

time.sleep(6)  # give the website some time to load

page = driver.page_source

soup = BeautifulSoup(page,'lxml')

tables = soup.find('div', class_='img-align-block') 

print(tables)

Answer 2

尝试User-Agent在headers您的请求上设置 a ，没有它，网站会发送不同的内容，即：

import requests

from bs4 import BeautifulSoup

url = 'https://www.leagueofgraphs.com/zh/champions/builds/darius'

h = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0"}

response = requests.get(url, headers=h).text

soup = BeautifulSoup(response,'html.parser')

images = soup.find_all('img', {"class" : 'mainPicture'})

for img in images:

    print(img['src'])

//cdn2.leagueofgraphs.com/img/perks/10.8/64/8010.png

//cdn2.leagueofgraphs.com/img/perks/10.8/64/8010.png

//cdn2.leagueofgraphs.com/img/perks/10.8/64/8230.png

//cdn2.leagueofgraphs.com/img/perks/10.8/64/8230.png

//cdn2.leagueofgraphs.com/img/perks/10.8/64/8230.png

Answer 3

网站使用 JavaScript 处理，所以需要使用 Selenium 或者其他支持 JS 加载的抓取工具。