数据迁移部分问题总结(r2第3天)

作者: admin 分类: 公众号存档            1 次浏览 发布时间: 2014-06-14 08:57

公众号:杨建荣的学习笔记 · 作者:r2第3天 · 发布:2014-06-14 08:57:09 · 原文链接

按照计划在周二开始了数据迁移,本来之前也做了不少的准备工作。但是还是在迁移的过程中出现了一些问题。简单做一个总结。

1.constraint导致的数据reject
在数据加载的时候,报了如下的错误。有一些数据记录被reject了,查看后发现是源库和目标库中表的not null constraint导致的,在源库中没有not null constraint,但是在目标库中有。
这个问题只能和开发做确认,稍后处理。

records from TESTDATA_HIST

cannot insert NULL into (“XXXXX”.”TESTDATA_HIST”.”TOT_OBJ”)

2.foreign key 导致的constraint enable
在数据加载之前,对于foreign key都做了diable的操作,在加载的过程中也没有出现任何问题。但是在enable foreign key的时候,报了02298的错误。

ERROR at line 1:

ORA-02298: cannot validate (XXXXX.CH_XXXX_1FK) – parent keys not found

alter table CH_XXXX enable constraint CH_XXXX_1FK
这个问题,先做了constraint novalidate,交给开发去检查数据。

3.关于datapump加载一个较大的表,含有clob字段,数据5000万条

impdp xxxx/xxxx file=exp_test.dmp logfile=imp_test.log TABLE_EXISTS_ACTION=APPEND CONTENT=DATA_ONLY REMAP_SCHEMA=CNVDBO8:XXXX REMAP_TABLESPACE=LARGE_DATA:DATAS01

因为这部分是由另外一个dba来做的,他没有使用nohup方式,结果到半夜的时候,远程的网络重启了。收到了下面的信息,这确实有些崩溃。
Broadcast Message from uxadmin3 (pts/8) Wed Jun 11 01:08:29…

PLEASE LOG OFF NOW ! ! !
System maintenance about to begin.
All processes will be terminated in 0 seconds.

Broadcast Message from uxadmin3 (pts/8) Wed Jun 11 01:08:29…
SYSTEM BEING BROUGHT DOWN NOW ! ! !

Connection to 10.196.28.42 closed by remote host.
Connection to 10.196.28.42 closed.

然后等网络好了之后,重新开始。在跑了1个多小时后报了乳腺癌的错误,就退出了。

ORA-31693: Table data object “XXXX”.”TEST”:”PMAX_AMAX_EMAX” failed to load/unload and is being skipped due to error:
ORA-00001: unique constraint (XXXX.TEST_PK) violated
Job “XXXXX”.”SYS_IMPORT_FULL_01″ completed with 1 error(s) at 02:34:33

可见数据可能有问题,根据我们的理解在datapump运行的过程中,如果突然中断,是直接rollback的。
但是数据现在都导不进去。最后使用了如下的选项,又是一个漫长的过程,这个时候对datapump也算是有一些心理煎熬了。

DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS

这次启用了nohup方式,在远程网络中断,后台依然在进行。

Starting “XXXXX”.”IMPDP_MEMO”: XXXXX/******** directory=DR_DATAPUMP_1 dumpfile=exp_mo1_memo.dmp logfile=imp_mo1_memo.log TABLE_EXISTS_ACTION=APPEND CONTENT=DATA_ONLY REMAP_SCHEMA=CNVDBO8:PRDAPPO REMAP_TABLESPACE=LARGE_DATA:DATAS01 parallel=6 DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS JOB_NAME=impdp_memo
Processing object type TABLE_EXPORT/TABLE/TABLE_DATA
Write failed: Broken pipe

在煎熬了3个小时候,终于有了下面的一段话。对于reject的数据也根据主键信息罗列了出来。

imported “XXXXX”.”MO1_MEMO”:”PMAX_AMAX_EMAX” 11.89 GB 52646187 out of 53020364 rows

Rejected row #1043:

column APP_ID: 1000
column ENTITY_KEY: 1
column PERIOD_KEY: 2
column MEMO_ID: 34141901
。。。。。。

4.sequence检查对于sequence的检查也是数据迁移的重中之重,在最后的检查中,尽管之前的sequence的值做了一个很大的buffer,胆识还是有一些sequence的问题。

TABLE_NAME SEQ_NAME SEQ_MAX COLUMN_MAX
sequence_1 EXTRACT_FILE_SEQ 22144093 22044092
sequence_2 RC_RATES_1SQ 20462516 20362515
sequence_3 MNTR_TREAT_1SQ 22592118 22492117

admin

杨建荣,《Oracle DBA工作笔记》《MySQL DBA工作笔记》作者,dbaplus社群发起人之一,腾讯云TVP,现任竞技世界系统部经理,拥有十多年数据库开发和运维经验,目前专注于开源技术、运维自动化和性能调优

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注