-
Scrapy框架：
Scrapy Engine: Scrapy引擎
Scheduler: Scrapy的调度器
Downloader: Scrapy的下载器
Spiders: Scrapy的爬虫
Item Pipeline: Scrapy的管道
Downloader Middlewares: 下载中间件
Spider Middlewares: 爬虫中间件
查看全部 -
Scrapy是什么？
查看全部 -
Scrapy介绍
查看全部 -
#安装Scrapy
pip3 install scrapy
##安装依赖
yum install -y openssl-devel
##由于先前自行编译Python，需要重新编译
.configure --prefix='/home/imooc_user1/python3' --with-ssl
make
make install
##找依赖包到pypi.python.org
##配置
vi .bashrc
最后一行新增
alias scrapy='/home/imooc_user1/python3/bin/scrapy'
退出、编译
source .bashrc
查看全部 -
xpath:
以// 开头，后面接关键字，然后加中括号，中括号内第一字符是@。
/P
from ***.items import ***item
查看全部 -
创建scrapy爬虫项目
scrapy startproject douban +url
查看全部 -
阿布云代理
查看全部 -
mongo查看数据
查看全部 -
安装pymongo
查看全部 -
保存问json和csv
查看全部 -
Scrapy注意事项
查看全部 -
scrapy arch
查看全部 -
1、创建scrapy爬虫项目
`scrapy startproject douban`
初始化生成的项目目录
```
- spiders
- __init__.py
- __init__.py
- items.py
- middlewares.py
- pipelines.py
- settings.py
- scrapy.cfg
```
2、在生成当前自动生成爬虫文件
`scrapy genspider douban_spider movie.douban.com `
查看全部 -
1、centos 下安装mongoDB提示没有这个包：
`sudo yum -y install mongodb-org`
2、之后从网络上搜索相关的安装源，并编辑文件：
`sudo vim /etc/yum.repos.d/mongo.repo`
3、清理yum安装源：
`sudo yum clean all`
4、重新执行安装命令
查看全部 -
scrapy爬虫注意事项
查看全部
举报