这是提交给Bright Data Web Scraping Challenge 的作品。第一个提示:从复杂的、互动性强的网站上抓取数据
我做了什么Cheaperr 是一个价格比较平台,允许你比较你所选择的产品在亚马逊网、eBay 和 AliExpress 上的价格,帮助你轻松找到最划算的交易。
技术栈这款应用是用以下这些工具开发的:
- React.js
- TailwindCSS
- Node.js(Express)
- Puppeteer
- Bright Data的网页抓取浏览器
- 线上演示地址 - Cheaperr.netlify.app
-
代码仓库
- 服务器代码库
主页
注:原文中的链接格式似乎有问题,正确的格式应该是:。
产品页
比价页面
我是怎么用Bright Data的对于这个项目,我使用了Bright Data的Scraping Browser。这让我能够轻松地在Amazon、eBay和AliExpress网站上模拟用户行为。
- 用户在搜索栏中输入所需的产品名称并点击回车。
- 应用的节点服务器收到用户的搜索查询。
- 服务器通过 Puppeteer 连接到 Bright Data的抓取浏览器。
- 连接成功后,抓取浏览器导航至 Amazon 、 eBay 和 Aliexpress。
- 用户的搜索查询分别输入到这三个网站的搜索栏中。
- 每个网站的筛选价格下拉菜单被点击,并选择 最低价格 选项。
- 页面上的结果被返回应用程序,随后抓取浏览器关闭。
- 对三个网站返回的价格进行比较,将所查询产品的最便宜网站显示给用户。
使用Bright Data的爬取浏览器让从每个网站采集数据变得比手动操作要简单得多。
点击查看更多内容
为 TA 点赞
评论
共同学习,写下你的评论
评论加载中...
作者其他优质文章
正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦