使用来自 AJAX 网站的 selenium 和 beautifulsoup

Question

我花了很长时间尝试浏览 html、javascript、网络流量等，并学习了很多关于 javascript、blob、base64 解码/图像编码的知识，但我似乎仍然无法弄清楚如何提取这些视频中的图片来自本网站：https : //www.jamesallen.com/loose-diamonds/all-diamonds/这是我所知道的：每个视频实际上是一组多达 512 张图像，这些图像是通过名为 setX.bin（X 是一个数字）的文件从服务器检索的。然后通过一个 int 数组将它们解析为一个 blob 对象（还有一些 base64，但我忘记了在哪里），以某种方式将其转换为图像。遵循源代码非常困难，因为它是故意编写为意大利面条式代码的。我怎样才能有效地提取每颗钻石的图像？我的一个解决方案是：我可以很容易地获得 setX.bin 文件，如果我只是以某种方式将它们“传递”到 javascript 函数中，那么我应该会很好。我的第二个解决方案是：手动旋转每个钻石并从缓存中提取图像或类似的东西。我想用python来做到这一点。编辑： 我在 SO 上找到了 javascript，它确实给出了“SecurityError：操作不安全”。这里是：function exportCanvasAsPNG(id, fileName) {    var canvasElement = document.getElementById(id);    canvasElement.crossOrigin = "anonymous";    var MIME_TYPE = "image/png";    var imgURL = canvasElement.toDataURL(MIME_TYPE);    window.console.log(canvasElement);    var dlLink = document.createElement('a');    dlLink.download = fileName;    dlLink.href = imgURL;    dlLink.dataset.downloadurl = [MIME_TYPE, dlLink.download, dlLink.href].join(':');    document.body.appendChild(dlLink);    dlLink.click();    document.body.removeChild(dlLink);}exportCanvasAsPNG("canvas-key-_w5qzvdqpl",'asdf.png');我从 Firefox 控制台运行它。当我在 python 中运行类似的执行脚本时，我遇到了同样的问题。我希望能够为每个画布抓取所有 360 度图像。Edit2：为了使这个问题更简单，我知道如何获取 setX.bin 文件，但我不知道如何将这组图像从 bin 转换为 jpg。每个 bin 文件是多个 jpg 文件。

Answer 1

这些.bin文件似乎只包含与一些主要元数据连接在一起的 jpeg。您可以简单地遍历文件的字节以查找 jpeg 文件签名 ( 0xFFD8) 并切出每个图像：

JPEG_MAGIC = b"\xff\xd8"

with open("set0.bin", "rb") as f:

    s = f.read()

i = 0

start_index = s.find(JPEG_MAGIC)

while True:

    end_index = s.find(JPEG_MAGIC, start_index + 1)

    if end_index == -1:

        end_index = len(s)

    with open(f"out{i:03}.jpg", "wb") as out:

        out.write(s[start_index:end_index])

    if end_index == len(s):

        break

    start_index = end_index

    i += 1

结果：