为什么在搜索存在的类时不返回任何内容？

Question

我正在尝试从这里从html中获取“下一个更改ID”，并且我正在使用模块美丽汤4来执行此操作。下一个更改ID似乎在stats-overview类下，所以我尝试搜索它，它只是返回一个空列表。import requestsfrom bs4 import BeautifulSoupninja = requests.get("https://poe.ninja/stats")soup = BeautifulSoup(ninja.content, "html.parser")stats_overview = soup.find_all("div", class_="stats-overview")print(stats_overview) # --> prints '[]'

Answer 1

网站是通过 加载的，模块将无法动态呈现。JavaScriptrequestsJS

from selenium import webdriver

import pandas as pd

from selenium.webdriver.firefox.options import Options

options = Options()

options.add_argument('--headless')

driver = webdriver.Firefox(options=options)

driver.get("https://poe.ninja/stats")

df = pd.read_html(driver.page_source)[0]

df.to_csv("data.csv", index=False)

driver.quit()

输出：在线查看

或者直接通过以下方式调用后端：API

import pandas as pd

import requests

r = requests.get("https://poe.ninja/api/Data/GetStats")

df = pd.read_json(r.text, orient="index")

df.to_csv("data.csv", header=None)

Answer 2

如果你去标签，你会得到跟随，它以格式返回数据。NetworkAPIjson

https://poe.ninja/api/Data/GetStats

import requests

r=requests.get("https://poe.ninja/api/Data/GetStats").json()

print(r['next_change_id'])

print(r['stash_tabs_processed'])

print(r['api_bytes_downloaded'])

print(r['character_bytes_downloaded'])

print(r['ladder_bytes_downloaded'])

print(r['pob_characters_calculated'])