如何忽略图像和其他不必要的文件以降低 Jsoup 中的响应时间

Question

我一直在像这样使用 Jsoup 获取 html 文档：Jsoup.connect(url).get();但我注意到 Jsoup 在给我数据之前等待所有内容加载。我知道我要找的数据在Html文档中。当查看响应时（通过谷歌 Chrome 网络分析工具），html 文档在第一个 ~100ms 发送，我不想等待额外的 ~1500ms 来访问该数据。有没有办法让请求跳过不需要的文件或在 Revinge html 文档后停止请求？任何可以使获取数据的过程更快的建议将不胜感激。

Answer 1

你的假设实际上是错误的。Jsoup 只获取您将 url 传递给的一个文档。它不会自动获取任何资源（图像、css、js 文件等）。如果激活，Jsoup 将仅遵循重定向。

可能服务器延迟了响应，因为您发送了没有User-Agent标头的请求。您可以使用Connection.userAgent()并添加例如 chrome 用户代理来解决此问题：

Jsoup.connect(url)
        .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36")
        .get();