程序人生

关于批量的解读

时间:2017/6/9 23:18:54  作者:solgle  来源:solgle.com  查看:756  评论:0
内容摘要:以前还没有听说过批量是什么意思,一直没有搞懂是什么。一开始,每天都有同事报告,昨天的批量报错了。开发的同事问,今天跑批了吗...,那么批量到底是个什么东西,今天我们来揭开它神秘的面纱。批量其实做的是数据同步,接单说就是数据的批量导出,批量导入。即使是同一个版本的数据库,通过d...
以前还没有听说过批量是什么意思,一直没有搞懂是什么。一开始,每天都有同事报告,昨天的批量报错了。开发的同事问,今天跑批了吗...,那么批量到底是个什么东西,今天我们来揭开它神秘的面纱。
 
批量其实做的是数据同步,简单说就是数据的批量导出,批量导入。即使是同一个版本的数据库,通过dblink这样的方式也是可以解决的,但是如果数据量比较大的时候,加上:网络等因素,以及对生产系统数据访问产生的影响,效率上这个比不上批量。用批量,使得不同的数据库之间也可以传输数据。
 
那么批量是怎么设计的呢,首先在生产系统访问较少的时候,一般是在晚上凌晨,将需要的数据导出生成一定格式的文件,一般为一张表的数据对应一个文件,完成后将文件上传到类似FTP服务器,其他需要数据的etl服务器会监控文件到达情况,将文件取下来,导入到自己的数据库中。这个文件操作在linux环境中,速度是相当快的,且这样就不会依赖生产系统。每层都是断开的。
 
按照数据的生成规律,采用全量还是增量就按实际情况来了,中间还需要job及调度控制,用的最多的还是shell,shell做这些还是比较强大的。
 

 
标签:批量的解读 

solgle.com 版权所有,欢迎分享!!!

相关文章
    相关评论
     img1 img2 img3 img4 img5 img6 img7 img8 img9 img10
    评论者:      验证码:  点击获取验证码
       Copyright © 2013-2028 solgle.com,All rights reserved.[solgle.com] 公安机关备案号:51010802000219
    Email:solgle@solgle.com; weixin:cd1008610000 ICP:蜀ICP备14011070号-1