在GO中通过http请求检索网站DOM

Question

在 GO 中，我使用 HTTP 请求来获取站点 html，我发现某些元素与在 Chrome 中使用 Inspect 时有所不同。在 google 中的搜索和一些阅读使我了解到，我在 Inspect 中看到的是一个名为 DOM 的阶段，它采用原始 html 并运行一些添加信息和更改元素的 java 脚本（对我来说，我是新手） ^_^）。为什么我可以在 GO 中接收 DOM 而不是原始 html？我知道我可以使用 Chromedp，但我希望有一些更像某种 HTTP 包的东西，因为 Chromedp 对性能有点重。我真的很感激任何建议，谢谢。

Answer 1

一个简单的 HTTP 请求（通过 Go 或其他任何方式）只能获取原始 HTML。DOM 是浏览器生成的对原始 HTML 的解释。是的，甚至还有像Shadow DOM这样的东西。

JavaScript 由浏览器的 JavaScript 引擎解释，该引擎将更改应用于 DOM、添加事件侦听器并动态操作所述 DOM。

这就是为什么你无法通过 HTTP 请求获取在浏览器中看到的 DOM 状态。该请求不包含通过浏览器的 JavaScript 引擎完成的所有客户端 DOM 操作。请求库不是浏览器。

为了访问您习惯在开发人员工具中看到的完整渲染的 DOM，您将需要更复杂的 Web 抓取设置，通常涉及无头浏览器，例如Puppeteer。然而，这是用 Node.js 编写的。考虑到 Go，您可能会更好地使用chromedp或cdp。

Answer 2

DOM 代表“文档对象模型”，它是一个节点树，其中每个节点代表底层文档的一个元素。节点可能对应于元素、文本、注释等。周围有许多基于 go 的 DOM 包。

它允许您解析 HTML，并以编程方式遍历文档的元素。