如何从特定网站抓取数据

Question

我正在尝试从网站上抓取数据以进行练习分析。我在特定网站上遇到了一些问题。该网站是关于西雅图地区的警方报告的。我已经阅读了很多文章，但无法得到答案。网址是：https ://data.seattle.gov/Public-Safety/real-time-911/nvqc-w7eg我知道我应该使用漂亮的汤并尝试找到一个关键字进行搜索，然后将类型转换为文本。但是，我一直没有。import requestsURL = 'https://data.seattle.gov/Public-Safety/real-time-911/nvqc-w7eg'page = requests.get(URL) from bs4 import BeautifulSoupsoup = BeautifulSoup(page.content)我的目标是将表格转换为.csv文件。有人可以帮我吗？

Answer 1

创建 BeautifulSoup 对象：

soup = BeautifulSoup(page.text, "lxml")

或者，

soup = BeautifulSoup(page.text, "html.parser")

或者，

soup = BeautifulSoup(page.content, 'html.parser')

我认为，您应该使用它，lxml因为它具有良好的性能。

Answer 2

尝试

soup = BeautifulSoup(page.text, "html.parser")

Answer 3

lxml使用或解析 HTML html.parser。lxml有些比其他的有优势，包括非常快的事实。

URL = 'https://data.seattle.gov/Public-Safety/real-time-911/nvqc-w7eg'

page = requests.get(URL) 

from bs4 import BeautifulSoup

soup = BeautifulSoup(page.text, "html.parser") #or lxml, htmlparser is just example

与其直接把它放在没有字符串的地方，不如把它和字符串一起放进去，这样 Python 就知道你正在处理解析器。