Puppeteer Web Scraper 返回空数据

Question

我正在用 puppeteer 编写一个程序，它使用以下代码从 youtube 播放列表中获取歌曲标题和艺术家姓名：await page.goto(url);let songs = await page.evaluate(() => {    let results = [];    let songTitle, songArtist;    let elements = document.querySelectorAll('#meta');    elements.forEach(el => {        songTitle = el.querySelector('h4');        songArtist = el.querySelector('#byline');        if (songTitle) {            results.push({                title: songTitle.textContent,                artist: songArtist.textContent            });        }    });    return results;});songs.forEach(song => {    song.title = song.title.trim();    song.artist = song.artist.trim();});songs.sort((a,b) => a.artist > b.artist ? 1 : -1);console.table(songs);变量 url 是指向包含 8 首歌曲的 youtube 播放列表的链接。我以前用那个播放列表和其他播放列表运行过这个程序，它运行良好。然而，过去几天它一直在返回一个空白表，即使我没有修改这段代码。我在与 spotify 网络播放器一起使用的末尾添加了更多代码，但这不应该影响我已经编写的代码，并且其中一些代码在 YouTube 部分停止工作之前已经存在。是我写的代码有问题，还是我wifi的问题？编辑：我尝试在注释掉 Spotify 部分的情况下运行代码，但它仍然无法正常工作。

Answer 1

网络连接的质量是一个很好的猜测。

在开始抓取之前，您需要等待 DOM 中加载的元素。如果您的网络速度极快：您就会成功，否则它不会收集到您想要的内容。您可以使用page.waitForSelector以确保可以开始抓取。

await page.goto(url);

await page.waitForSelector('#meta');

let songs = await page.evaluate(() => {

...