scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去
3 回答
拉丁的传说
TA贡献1789条经验 获得超8个赞
问题:
因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗
要怎么远程连接mysql呢?
如果不需要存到同一个mysql下,那应该是个什么原因呢?
解答:
可以存在同一个mysql也可以存在不同的mysql,主要看你的需求是怎样的,一般情况下,存在一个mysql就足够了
不管你的程序是在本地还是线上,只要你知道连接mysql的参数就可以连接上。连接的参数包括服务器IP,端口号,用户,密码,此外,服务器可能还配置了另外的限制条件,比如说限制远程连接的IP,如果你的本地IP不在连接白名单里面,那么你就算知道上述信息也是无法连接的。具体连接mysql方式根据不同语言而定。
不存在同一个mysql的原因,可能会考虑到数据备份,也可能考虑到连接速度(如果在这方面有很高要求的话,会选择最近的服务器上的数据库进行存储)
添加回答
举报
0/150
提交
取消