如果同步Oracle的数据到MS SQL?

xblues

很多种方法， BCP, DTS, SSIS, Linked Server, Snapshot, Replication........我们逐个看。

xblues

CommSec：BCP。
Suncorp：BCP。
CUNA：DTS。

DTS是SSIS的前身，推荐更新到 SSIS。

xblues

http://www.cnblogs.com/dutguoyi/articles/700081.html

现在有两个系统，一个主要系统使用Oracle，就叫它OracleProject。 另外一个系统使用SQL Server，就叫它SQLServerProject。现在需要将它们的数据进行同步。主要数据库为Oracle，SQL Server是需要Update的。两个数据库中的数据表结构不相同。
有什么方法？
自己以前没有做过，会逐渐把解决方法写出来。大家有什么建议，请不吝赐教。：） 谢谢。
现在使用的方法是： SQLServer数据库-->Security-->linked servers，在这里将Oracle数据库添加进来。例如，linked server的名字为LS，Oracle的schema是LSschema，数据表为table1。那么通过下面的语句就可以在SQLServer中查询Oracle的数据表了。

select * from LS..LSschema.table1

coredump

ETL类的工作： http://en.wikipedia.org/wiki/Extract,_transform,_load#Tools

我在HP时维护过ConnectIT这个工具，就是把各种数据源之间转来转去

pinxinge

楼主指的是实时同步吗？

trisun

Biztalk

xblues

原帖由 pinxinge 于 11-8-2010 23:07 发表

                               
登录/注册后可看大图

楼主指的是实时同步吗？

不是实时的，就是把每天生产数据库的更新同步到数据仓库，用来分析。 谢谢帮忙！！！

xblues

原帖由 trisun 于 11-8-2010 23:37 发表

                               
登录/注册后可看大图

Biztalk

没有第三方的软件，只有Oracle 和 MS SQL 自带的那些服务可以用。

xblues

原帖由 coredump 于 11-8-2010 23:05 发表

                               
登录/注册后可看大图

ETL类的工作： http://en.wikipedia.org/wiki/Extract,_transform,_load#Tools

我在HP时维护过ConnectIT这个工具，就是把各种数据源之间转来转去

如果只能用SQL自带的工具呢？

xblues

在Oracle上建立prod database 的 Snapshot，还不是知道让不让我建立呢，然后所有的同步对着这个snapshot进行。

在SQL上建立一个 Linked Serverr指向Oracle

在SQL使用SSIS或者SP更新 datawarehouse

=================================================================

我觉得 snapshot是比较可行的方法，可是如果Oracle上面不允许我建立数据库的话，我就只能连接到SQL，在SQL上建立，那不就等于搬移整个数据库数据部分到SQL么？这是不是太傻了？

如果我用SSIS逐个表去查询Linked Server 或不会更好一些？不过这个查询肯定是对着生产数据表进行的，也不好。

同步表的时候，我还没想好到底是用SSIS呢，还是直接用SP呢？哪一个好一点？里面的内容都差不多，使用三条SQL语句：

Update 更新的数据
Insert 新数据
Delete 在Prod上被删除的数据

这样我就有了一份生产数据表的同步备份。然后在用这个表去更新我Datawarehouse里面的表。

wukong

原帖由 xblues 于 2010-8-12 07:41 发表

                               
登录/注册后可看大图

在Oracle上建立prod database 的 Snapshot，还不是知道让不让我建立呢，然后所有的同步对着这个snapshot进行。

在SQL上建立一个 Linked Serverr指向Oracle

在SQL使用SSIS或者SP更新 datawarehouse

======== ...

Linked server 是最不好的方法，如果数据量大的话儿会有很多问题，如果oracle 和sql server 跨网络也会有麻烦。

我没有很多 异构数据源之间同步的经验，但是仅从sql server这方面考虑，我觉得ssis是解决异构数据同步的 比较好的方式

wukong

sql server 有replication, log shipping可以用来进行数据同步，不过我只知道用他们做 同构数据，不知道异构的能不能用replication

wukong

这篇文章 不错，希望可以解决你的问题


利用SQLServer2005复制功能实现与Oracle数据库同步
http://blog.csdn.net/studyzy/archive/2007/02/05/1502426.aspx

利用SQLServer2005复制功能实现与Oracle数据库同步 收藏
在项目中经常会遇到一个项目操作几个数据库的情况，若是同种类型的数据库也还好说，可以直接链接两个数据库，也可以用数据库的同步功能。若我们的项目使用SQLServer2005进行开发，而且项目中要用到Oracle数据库中的数据，那么又该怎么实现拉？一般来说方案有以下几种。
1.分别建立链接对数据库进行操作，SQLServer可以用ADO.NET,操作Oracle可以用OLEDB或者用System.Data.OracleClient（需要添加引用才能用）
这种方案的优点就是简单，各自写各自的数据库操作代码，缺点就是不能将两个数据库中的表直接进行联合查询，链接Oracle的每台机器必须安装OracleClient才可以使用。
2.使用同义词操作Oracle数据库。
这种方法的具体操作我在以前的文章中已经写清楚了，这样做一来可以进行表的联合查询二来不需要每台机器都安装OracleClient，但是还是有一个缺点：效率低，比如对同义词使用like去查找需要的数据，如果是直接连Oracle数据库也许只要0.1秒就可以找到答案，但是用同义词可能就要等10秒20秒或更久。原来SQLServer并不是直接把查询语句传递给Oracle，让Oracle执行操作，而是将所有数据都取到SQLServer服务器上，边取数据边分析，直到满足查询条件为止。其实这种数据放在两个服务器上还有一个缺点就是一旦Oracle服务器宕机，即使我们这边的所有服务器都是好的，那么我们的程序中用到Oracle数据的地方就无法使用。
3.直接链接Oracle数据库+同义词+作业+异常跳转 方式。
这种方法具体讲就是我们的程序直接用OLEDB（OracleClient）链接Oracle数据库，同时SQLServer服务器也建立了同义词指向Oracle，在SQLServer上建立作业，将同义词中的数据拷贝到SQLServer服务器的表中。一旦Oracle宕机，程序中就会捕捉到异常，于是就使用SQLServer中的数据。这样做比较复杂，需要一定的编程，效率也不是特别高，但是优点也是明细的，平时链接Oralce服务器，异常情况下链接SQLServer中的备份数据，保证了程序的正常运行。
4.直接编写一个程序，以服务或自启动方式一直运行，每隔一段时间将Oracle数据库中的数据写到SQLServer数据库中。
这种方法就是编程复杂，具有很大难度。
5.利用SQLServer2005的复制功能将Oracle数据库中的数据同步到SQLServer服务器中，程序只操作SQLServer，不链接Oracle数据库。
这种方法不需要编写任何代码，由于只对SQLServer进行查询，所以查询效率高可以做多表链接，开发人员也不需要再装OracleClient，也不用害怕Oracle服务器宕机导致我们的相关程序无法使用。优点倒是很多，那么有没有缺点拉？缺点还是有的，主要是取得的数据不是实时的数据，Oracle那边的数据更新了，我们这边还有可能是老数据。
前面的四种方法我就不用多讲了，这次主要是讲第五种方法的具体实现：

1.安装SQLServer复制功能。
在安装SQLServer数据库的时候选上“复制”，将“复制”功能安装到服务器。微软说如果第一次安装的时候没有装，以后再想添加该功能只需要运行安装程序将“复制”选上就可以了，不过说是这么说，我试了几次都不行，我也不知道怎么回事，为了安装上复制，所以将SQLServer卸载了，重新安装！这种方法很笨，不过我实现想不出其他办法了，希望高手指点。
2.设置Oracle服务器端的权限。
创建一个用于复制用的用户，授予下列权限：
CREATE PUBLIC SYNONYM 和 DROP PUBLIC SYNONYM
CREATE PROCEDURE
CREATE SEQUENCE
CREATE SESSION
还必须直接为用户授予下列权限（不是通过角色）：
CREATE ANY TRIGGER。
CREATE TABLE
CREATE VIEW
同时该用户还必须对要发布的表所在表空间有UNLIMITED的权限，还要针对每个要用于同步的表设置Select权限。
3.SQLServer服务器上安装OracleClient10g
必须安装了才可以链接Oracle服务器，不推荐安装Oracle9i，即使我们要链接的Oracle是9i的。安装完成以后重启SQLServer服务器。用PLSQL或其他工具测试一下是否可以链接到Oracle服务器。
4.设置SQLServer Agent权限
在SQLServer服务器上 新建用户，将该用户加为管理员，在“服务”中找到“SQLServer Agent”，将其启动用户改为该用户，重启该服务。
5.配置分发
打开ManagementStudio右键“复制”节点，选中“配置分发”，按向导一步一步操作，将快照文件夹路径指定为一个专门的共享文件夹，其他都不用修改，完成配置分发。
6.添加Oracle发布
右键“本地发布”->“新建Oracle发布”，启动Oracle发布向导，添加Oracle服务器，将在Oracle服务器上新建的用户密码输入，一直下一步，选快照发布，选中需要发布的表，选中“立即创建快照发布”和“计划运行快照代理”，计划时间就自己根据需要设定，“快照代理”选择“代理服务帐户”，发布名称填写需要的名称，比如“Test1”，然后点击完成。这样就完成了发布工作。
7.添加Oracle订阅
右键“本地订阅”->“新建订阅”运行向导，选中刚才新建的Test1发布，一般选中“推送订阅”，指定要订阅的数据库（比如：mis），也就是要用来存储Oracle数据的数据库，订阅属性中选中用SQLServer代理用户运行，代理计划“连续运行”，初始化时间“立即”，然后创建订阅完成。
这个时候我们打开订阅的数据库mis，我们可以看到其中添加了Oracle发布出来的表，而且这些内容会按照计划隔段时间同步Oracle数据一次。
到此我们的同步完成。
8.测试是否同步成功
用PLSQL往Oracle中写入数据，修改数据，删除数据，如果发布时候选中的是每一分钟运行快照代理一次，那么隔一分钟后，我们再去打开SQLServer中的表，我们可以看到其中的内容和Oracle一样进行了变化。
PS：在“本地发布”下选中我们的发布，右键，“查看代理运行状态”可以看到我们的发布是否成功。

xblues

我现在已经得到了Oracle的账号。

方法一：
建立ODBC数据源
在DTS中通过ODBC数据源调用Oracle的表进行数据copy操作

方法二：
不需要从控制面板先建立ODBC连接，而是在SSIS中直接输入Oracle账号信息，通过ODBC调用

方法三：
不需要从控制面板先建立ODBC连接，而是在Linked Servers中直接输入Oracle账号信息，建立一个Linked Server到Oracle
用SQL查询这个Linked Server

方法四：
在Oracle建立发布
在SQL上建立订阅

• DTS是老的方法，应该用SSIS代替，适合Copy数据
• Linked Server也是不错的方法，适合实时查询
• 方法四需要在Oracle上做操作，我目前没有Oracle数据库的操作权限
• 所以目前我使用 SSIS 和 Linked Server
  

昨天实验SSIS调用成功了
Linked Server没有成功，可能是我账号的权限问题？

wukong

我觉得方法四  比较好，

linked server 最好 不要用在生产环境里，这个对环境依赖很大，网络 状况不好，会导致数据无法同步，而且每次，sql server 不是把脚本 送到远端执行， 会把所有的数据拷贝到本地，然后 再做筛选比较，效率极低，极不稳定。我现在就有个应用系统用 linked server，带来了很多麻烦。

SSIS方法，你要自己处理数据更新的问题，例如 要copy的数据是不是已经在本地数据库了，是要update还是insert，怎么确定哪些字段变化了，都是问题....