DB批量验证和上传

我设计的应用程序,这将涉及记录一个Postgres数据库批量上传(让我们称之为架构DB-1)。 上传的视频将被几乎每个星期完成。 尺寸范围可以从几百万到十亿的记录。 该将要被上载​​的数据需要被验证/第一清洗,因为这将需要符合DB-1的constaints和格式。 我想采取以下做法:

  1. 每当一个新的上传需要做,一个新的方案中创建(让我们把它称为DB-2 -一个临时的地方)同DB-1,但宽松的约束 。 这将确保得到的数据在DB-2中加载的开始。
  2. 上运行的数据的验证过程。 最初,我在想一个中间件的过程,但是当我意识到将要处理的数据量,我有点开始思考编码验证+清洁层在数据库本身 - 一组存储的特效,这将在DB-2运行,检查数据并生成(在DB-1,数据格式等,即目前constaints)与不符合规则的记录的报告。
  3. 在此之后,需要将在源再次更改的数据,第1步重复,如果一切看起来不错,那么一个SELECT INTO DB-1 DB-2将有效数据转移到最终desitnation。

你对上述过程的看法? 任何明显的/隐藏的问题,你在这里看到的? 建议,使其更好地深受欢迎。

谢谢

Ĵ

分类:数据库 时间:2015-03-15 人气:2
分享到:

相关文章

Copyright (C) 55228885.com, All Rights Reserved.

55228885 版权所有 京ICP备15002868号

processed in 0.566 (s). 10 q(s)