python爬虫小白学习笔记之数据存储（一）

(一)存储到mongodb:

    1.创建一个client对象，调用pymongo的MongoClient()方法，并传入数据库的url,使用client[db名]创建一个数据库db，

调用db[collection名],创建一个表coll,调用coll.insert(dict对象)插入数据。

# class MongoPipeline(object):

# 

#     def __init__(self,mongo_url,mongo_db):

#         self.mongo_url = mongo_url

#         self.mongo_db = mongo_db

# 

#     @classmethod

#     def from_crawler(cls,crawler):

#         return cls (

#             mongo_url=crawler.settings.get('MONGO_URL'),

#             mongo_db =crawler.settings.get('MONGO_DB')

#         )

#     def open_spider(self,spider):

#         self.clict = pymongo.MongoClient(self.mongo_url)

#         self.db  = self.clict[self.mongo_db]

# 

#     def process_item(self,item,spider):

#         name = self.__class__.__name__

#         self.db[name].insert(dict(item))

#         return item

#     def close_spider(self,spider):

#         self.clict.close()