使用 beautifulsoup 从 <script> 中提取数据

Question

我正在尝试使用 Python 和 Beautifulsoup 抓取一些数据。我知道如何从脚本标签中获取文本。[ ] 之间的数据是有效的 json。<script>    dataLayer = [    {    "p":{           "t":"text1",         "lng":"text2",         "vurl":"text3"       },  "c":{  },  "u":{  },  "d":{  },  "a":{  }  }]</script>我已经阅读了这个回复，它几乎完成了我想要的： 用 BeautifulSoup 提取 <Script 的内容这是我的代码：import urllib.requestfrom bs4 import BeautifulSoupimport jsonurl = "www.example.com"html = urllib.request.urlopen(url)soup = BeautifulSoup(html, "html.parser")raw_data = soup.find("script")理想情况下，我会这样做：json_dict = json.loads(raw_data)并通过字典访问数据。但这不起作用，因为"<script> dataLayer =" 在有效的 json 之前，最后是 script 标签。我试过将 raw_data 修剪为字符串，如下所示：raw_data[20:]但这不起作用，因为汤对象不是字符串。如何让 raw_data 变量只包含块引号 [ ] 之间的文本？编辑：这似乎有效。它避免了正则表达式并解决了尾随字符的问题。感谢您的建议。url = "www.example.com"html = urllib.request.urlopen(url)soup = BeautifulSoup(html, "html.parser")# get the script tag data and convert soup into a stringdata = str(soup.find("script"))# cut the <script> tag and some other things from the beginning and end to get valid JSONcut = data[27:-13]# load the data as a json dictionaryjsoned = json.loads(cut)

Answer 1

用于.text获取<script>标签内的内容然后替换dataLayer =

raw_data = soup.find("script")

raw_data = raw_data.text.replace('dataLayer =', '')

json_dict = json.loads(raw_data)

Answer 2

>>> import re

>>> soup.find_all(re.compile("\[(.*?)\]"))

你会用正则表达式做到这一点

您将不得不创建一个只接受 [] 之间的文本的正则表达式规范