如何使用 Puppeteer 进行网页抓取并发布？

Question

我想使用 Puppeteer 进行网络抓取。当用户单击我的应用程序中的按钮时，它将从外部 URL 获取数据。我的应用程序必须访问外部 URL、填写表单、单击按钮、获取返回的数据并将其显示给我的应用程序中的用户。这是一个内部项目，起初是一个小项目。我使用网站 编写了一个使用 Puppeteer 的测试代码： https ://try-puppeteer.appspot.com/效果很好。伟大的！但是，我无法通过Locaweb 上的共享托管让我的代码在我的域上运行。在我看来，我依赖服务器上的更改才能运行 Puppeteer，对吗？是否有一个免费的地方可以托管我的代码并像我在https://try-puppeteer.appspot.com/上那样使用Puppeteer运行？如果您没有免费的选项可供建议，您能否建议一个可行的低成本选项？谢谢你！

Answer 1

脚步：

1. 您需要创建一个简单的expressjs api。

2. 在某处托管 api（有数以千计的 vps 和云托管提供商，如 digitalocean/linode 等）

3. 使用前端访问其余 api（通常是 ajax 调用）

确实有一些免费服务，但它们会更复杂一些。您需要了解一些无服务器功能。尝试寻找，

• AWS 拉姆达

• Netlify 函数

• Firebase 函数

• 谷歌云功能

• 谷歌云运行。

Answer 2

有这么简单的事情吗？

1. 输入代码： https: //try-puppeteer.appspot.com/

2. 运行看看是否按预期运行。

3. 复制代码并保存为code.js

4. 使用 http://code some-name.any-things.com/project/code.js 并在https://try-puppeteer.appspot.com/上以字符串或任何 html 形式获得相同的测试结果。

抱歉，我没有这方面的经验。欢迎对细节进行任何解释。