项目中遇到一个需求,需要将一个千万条记录级别的mongodb库提取部分字段转到postgresql中。由于mongodb一直在更新,所以每隔一段时间就需要倒一次数据。所以想实现增量更新的功能。问题是,我要如何保存上一次python遍历到的位置?ps:mongodb的_id字段是自动生成的,其他字段无严格的递增或递减的数量关系。
添加回答
举报
0/150
提交
取消