公众号:杨建荣的学习笔记 · 作者:r2笔记61天 · 发布:2014-08-11 19:23:03 · 原文链接 在数据迁移的时候,目前启用了10个并行的进程。每个进程负责一部分的数据导入工作。然而在统计数据导入进度的时候,总是...
海量数据迁移之分区并行切分(r2笔记60天)
公众号:杨建荣的学习笔记 · 作者:r2笔记60天 · 发布:2014-08-10 23:01:23 · 原文链接 在海量的数据迁移中,如果某个表特别大,可以考虑对表中的分区进行切分,比如某个表有100g,还有100个分区,那么可以考虑...
数据迁移工具简单分析 (r2笔记59天)
公众号:杨建荣的学习笔记 · 作者:r2笔记59天 · 发布:2014-08-09 23:42:07 · 原文链接 exp/imp 对于数据结构的复制和同步,还是比较理想的工具。 在数据量比较小的情况下,这个工具的性能要远远好于datapump,...
用shell脚本巧妙统计文件(r2笔记57天)
公众号:杨建荣的学习笔记 · 作者:r2笔记57天 · 发布:2014-08-07 23:26:56 · 原文链接 在数据迁移的过程中,会产生大量的dump文件,需要对dump的文件情况进行一个简单清晰的管理,比如目录下的文件特别多,而...
VXFS启用异步IO导致的严重问题(r2笔记56天)
公众号:杨建荣的学习笔记 · 作者:r2笔记56天 · 发布:2014-08-06 18:32:45 · 原文链接 今天在做数据迁移的时候,碰到了一个严重的问题,数据加载完全hang住了,最后无奈回退了。 系统使用的vxfs文件系统,在生...
通过sql语句分析足彩(r2笔记55天)
公众号:杨建荣的学习笔记 · 作者:r2笔记55天 · 发布:2014-08-05 18:49:54 · 原文链接 老是做工作中的数据分析,最近也在看足球彩票,竞猜游戏有输有赢,但是里面还是有不少的数据分析的乐趣,关于足球彩票的...
关于验证表中有无数据的方法比较(r2笔记54天)
公众号:杨建荣的学习笔记 · 作者:r2笔记54天 · 发布:2014-08-04 13:26:36 · 原文链接 在平时的工作中,有时候需要准备一些脚本,比如能够简单验证一下表是否可访问,或者验证表中有无数据等。今天在测试环境...
海量数据迁移之分区并行抽取(r2笔记53天)
公众号:杨建荣的学习笔记 · 作者:r2笔记53天 · 发布:2014-08-03 19:43:34 · 原文链接 在之前的章节中分享过一些数据迁移中并行抽取的细节,比如一个表T 很大,有500G的数据,如果开启并行抽取,默认数据库中...
海量数据迁移之外部表切分(r2笔记52天)
公众号:杨建荣的学习笔记 · 作者:r2笔记52天 · 发布:2014-08-02 23:29:36 · 原文链接 在前几篇中讨论过海量数据的并行加载,基本思路就是针对每一个物理表都会有一个对应的外部表,在做数据迁移的时候,如果...
怎样突破表名30个字符的限制(r2笔记51天)
公众号:杨建荣的学习笔记 · 作者:r2笔记51天 · 发布:2014-08-01 22:47:20 · 原文链接 根据oracle的规范,对象的长度最大为30位,也就是说,在平时的使用中如果碰到表名长度大于30位,首先oracle是不答应的,...
