为了账号安全,请及时绑定邮箱和手机立即绑定

用Nodejs抓虫遇到一个循环请求问题

用Nodejs抓虫遇到一个循环请求问题

慕哥9229398 2018-11-13 13:14:28
用Nodejs抓虫遇到一个循环请求问题,目前只获取到第一个分页,这个问题怎么获取分页总数,然后获取每一页的页面数据?var express = require('express');var fs = require('fs');var request = require('request');var cheerio = require('cheerio');var app = express();app.get('/',function (req,res) {    var id = 1;    url = 'http://www.zcool.com.cn/zteam/ZNDg2MzI=.html?sort=0&p='+ id +'#titleMaoDian';    console.log(id);    request(url,function(err,res,html){        if(!err){            var $ = cheerio.load(html);            var endId = $('.bigPage').find('a.pageNext').prev().text();            for(id=1;id<=endId;id++){                var title;                $('.camLiTitleC').filter(function(){                    var data = $(this);                    title = data.text();                    console.log('作品标题:' + title);                })            }        }    })});app.listen('8080'); //使用8080端口exports = module.exports = app;
查看完整描述

1 回答

?
子衿沉夜

TA贡献1828条经验 获得超3个赞

先将url后缀空出数字部分,然后可以定义一个函数,再递归调用自身,每次加一
具体操作可以看下我的文章(羞涩..)Node.js实现简易爬虫

查看完整回答
反对 回复 2018-12-02
  • 1 回答
  • 0 关注
  • 748 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信