为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy 的 -O命令保存的是空文件

scrapy 的 -O命令保存的是空文件

萧十郎 2018-08-02 17:54:31
class EastSpider(scrapy.Spider):     name = 'East'     allowed_domains = ['****.com']     start_urls = ['http://finance.***.com/news.html']    def parse(self, response):         nextUrl = response.xpath('//*[contains(@class,"page-btn")]/@href')        for url in nextUrl.extract():             time.sleep(1)            yield Request(urljoin(response.url,url))         contentUrl = response.xpath('//p[@class="title"]/a/@href')        for urls in contentUrl.extract():             time.sleep(1)            yield Request(urls,callback = self.parse)         pass代码如上,但是在命令行运行scrapy crawl East -o East.csv的结果,East.csv是个空文件,什么都没写进去。我看人家说要yield,但是自己搞了搞也没行...尝试了在for循环之外添加yield url、yield urls报错,说是在定义之前引用了,然后在for循环之内添加又没效果,还是空文件...
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 1258 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信