首页手记如何在postgresql数据库中进行不同库中的数据迁移

如何在postgresql数据库中进行不同库中的数据迁移

标签：

MySQL

背景
很多情况下，我们开发的系统是从上游到下游，而这一层一层的数据传输过程中，各个网元之间的数据可能存在了相似性，这也就导致每个库中的表结构基本是一致的，那么有什么办法将上游网元的数据迁移到下游网元呢？当然可以直接使用python脚本进行处理，但是我这里使用一个纯sql的方式进行处理。

原理：

如果需要将A库的数据迁移到B库，则可以先将A库的数据导出，然后将该库的dump文件中创建一个SHEMA后倒入到B库中，然后直接在B库中查询SCHEMA中的数据导入到B库即可。

数据准备

模拟该两个网元，分别为dcmp和cms
dcmp和cms的数据库分别为dcmp和cms
使用pg_dump -U postgres -p 23451 dcmp > dcmp.dump命令可以导出dcmp的数据库。

操作步骤

执行命令pg_dump -U postgres -p 23451 dcmp > dcmp.dump将dcmp数据进行备份
使用vim命令打开dcmp.dump文件，找到文件中的:set search_path=public,即如下图所示：，
将其中的public 修改为dcmp，同时在该行之前新增两行：CREATE SCHEMA dump; ALTER SCHEMA dcmp OWNER TO postgres;修改完成后结果如下：
该步骤的主要作用是在导入此文件的时候，能创建一个dcmp的SCHEMA。
登录到cms的库：此时该库中情况如下
登录到cms的命令行界面，使用命令\i dcmp_bak.dump将dcmp的数据导入到cms中。导入完成后会发现cms的库中多了一个dcmp的SCHEMA，这也就是我们刚才修改dump文件的目的所在。
接下来我们就可以通过sql的方法来将dcmp中的数据迁移到cms中了，如：

INSERT INTO "public".t_movie (	"id",	"content_id",	"provider",	"type",	"play_code",	"file_url",	"screen_format",	"encode_format",	"bit_rate_type",	"video_type",	"audio_type",	"create_time",	"update_time",	"status") SELECT	"id",	"content_id",	"provider",	1 "type",	'' AS play_code,	"file_url",	"screen_format",	"encode_format",	"bit_rate_type",	"video_type",	"audio_type",	"create_time",	"update_time",	4 statusFROM	dcmp.t_movieWHERE	provider = 'yhd';

点击查看更多内容