网络抓取谷歌航班价格

Question

我正在尝试学习使用 Python 库 BeautifulSoup，例如，我想在 Google Flights 上获取航班价格。所以我连接到谷歌航班，例如在这个链接，我想获得最便宜的航班价格。因此，我将使用此类“gws-flights-results__itinerary-price”（如图所示）获取 div 内的值。这是我写的简单代码：from bs4 import BeautifulSoupimport urllib.requesturl = 'https://www.google.com/flights?hl=it#flt=/m/07_pf./m/05qtj.2019-04-27;c:EUR;e:1;sd:1;t:f;tt:o'page = urllib.request.urlopen(url)soup = BeautifulSoup(page, 'html.parser')div = soup.find('div', attrs={'class': 'gws-flights-results__itinerary-price'})但由此产生的 div 有 class NoneType。我也尝试find_all('div') 但是在我以这种方式找到的所有 div 中，没有我感兴趣的 div。有人可以帮助我吗？

Answer 1

看起来javascript需要运行所以使用像selenium这样的方法

from selenium import webdriver

url = 'https://www.google.com/flights?hl=it#flt=/m/07_pf./m/05qtj.2019-04-27;c:EUR;e:1;sd:1;t:f;tt:o'

driver = webdriver.Chrome()

driver.get(url)

print(driver.find_element_by_css_selector('.gws-flights-results__cheapest-price').text)

driver.quit()

Answer 2

您正在学习网络抓取真是太好了！您之所以获得 NoneType 结果是因为您正在抓取的网站动态加载内容。当请求库获取 url 时，它只包含 javascript。带有此类“gws-flights-results__itinerary-price”的 div 尚未呈现！因此，您用来抓取该网站的抓取方法是不可能的。

但是，您可以使用其他方法，例如使用 selenium 或 splash 等工具获取页面来呈现 javascript，然后解析内容。

Answer 3

BeautifulSoup 是提取部分 HTML 或 XML 的绝佳工具，但在这里看起来您只需要获取另一个 JSON 对象的 GET 请求的 url。

（我现在不在电脑旁，明天可以更新一个例子。）