Oracle Stream Replication技术

谷2173

Stream是Oracle的消息队列(也叫OracleAdvancedQueue)技术的一种扩展应用。Oracle的消息队列是通过发布/订阅的方式来解决事件管理。流复制(Streamreplication)只是基于它的一个数据共享技术，也可以被用作一个可灵活定制的高可用性方案。它可以实现两个数据库之间数据库级，schema级，Table级的数据同步，并且这种同步可以是双向的。OracleStream也是通过数据冗余来提高可用性，这一点和DataGuard类型。
Oracle高级复制(OracleadvancedReplication)和流复制(StreamReplication)是从名称和功能上都相似的两种技术。但前者是基于触发器的，后者是基于日志挖掘(Logminer)技术。



1.Stream的工作原理

Stream是OracleAdvancedQueue技术的一种扩展应用，这种技术最基本的原理就是收集事件，把时间保存在队列中，然后把这些事件发布给不同的订阅者。从DBA的角度来说，就是把捕获Oracle数据库产生的Redo日志，然后把这些日志通过网络传播到多个数据库，其他数据库通过应用这些日志，达到复制变化的作用。
在Stream环境下，复制的起点数据库叫作SourceDatabase，复制的终点数据库叫作TargetDatabase。在这两个数据库上都要创建一个队列，其中的SourceDatabase上的是发送队列，而TargetDatabase上的是接收队列。
数据库的所有操作都会被记录在日志中。配好Stream环境后，在SourceDatabase上会有一个捕获进程(CaptureProcess),该进程利用Logminer技术从日志中提取DDL,DML语句，这些语句用一种特殊的格式表达，叫作逻辑变更记录(LogicalChangeRecord,LCR).一个LCR对应一个原子的行变更，因此源数据库上的一个DML语句，可能对应若干个LCR记录。这些LCR会保存到SoureceDatabase的本地发送队列中。然后传播进程(PropagationProcess)把这些记录通过网络发送到TargetDatabase的接收队列。在TargetDatabase上会有一个应用进程(ApplyProcess)，这个进程从本地的接收队列中取出LCR记录，然后在本地应用，实现数据同步


2.DataGuard和Stream区别
DateGuard有两种类型：physicalstandby和logicalstandby。这两中standby都有3个功能模块：日志传送；日志接收，日志恢复。两种standby在前两个模块中是一样的，都是通过LGWR或者ARCn进程发送日志，通过RFS进程接受日志。区别在第三个模块：
PhysicalStandby使用的是MediaRecovery技术直接在数据块级别进行恢复，因此PhysicalStandby能够做到两个数据库的完全同步，没有数据类型限制。
LogicalStandby实际是通过Logminer技术，把日志中的记录还原成SQL语句，然后通过ApplyEngine执行这些语句实现数据同步，因此LogicalStandby不能保证数据的完全一致。比如LogicalStandby不支持某些数据类型，这一点在选择LogicalStandby时必须要考虑.LogicalStandby不支持的数据类型可以从DBA_LOGSTDBY_UNSUPPORTED是不里查看.
SQL>SELECT*FROMDBA_LOGSTDBY_UNSUPPORTED;


Stream使用的是LogicalStandby第三个模块，也就是在SourceDatabase一端，Capture进程利用Logminer技术把日志内容还原成LCR，然后发送到TargetDatabase，而在Targetdatabase一端，也是通过ApplyEngine执行这些LCR。因此Stream在使用上也有些限制条件。这些可以从视图ALL/DBA_STREAMS_NEWLY_SUPPORTED,ALL/DBA_STREAMS_UNSUPPORTED查看stream复制不支持的数据类型。

SQL>SELECTtable_name,reasonFROMALL_STREAMS_NEWLY_SUPPORTED;
SQL>SELECTtable_name,reasonFROMDBA_STREAMS_NEWLY_SUPPORTED;

SQL>SELECTtable_name,reasonFROMDBA_STREAMS_UNSUPPORTED;
SQL>SELECTtable_name,reasonFROMALL_STREAMS_UNSUPPORTED;

下面以图表的形式列举他们的区别：

Streams	DataGuard
主要目的是数据共享	主要目的是灾难恢复和高可用性
可以多方向同步	只能是单向，从Primary-->Standby
数据粒度可以是数据库，Schema，Table三个级别	只有数据库级别
支持异种平台的同步(HeterogeneousPlatforms)	必须同种平台(HomogeneousPlatforms)
参与复制的每个数据库可以读写	只有Primary可以读写，Standby只读
支持Oracle和非Oracle数据库间的同步	只能是Oracle数据库间

3.前期规划的几点：
1).确定复制集：如是数据库级还是表级
2).决定复制站点
3).决定LCR是本地捕获还是下游捕获
本地捕获：在源数据库进行，从联机日志和归档日志获得LCR
下游捕获：在目标数据库进行，从归档日志获得LCR.
本地捕获可以保护更多的数据，但是会占用源数据库的资源。
4).决定复制拓扑结构：这时要决定复制数据库的用途，是只用于预防灾难，还是平时保持空闲，或允许用户使用。






4.StreamsReplication实例

4.1准备工作：
DBA是源数据库，DBA2是目标数据库

4.1.1源数据库和目标数据库必须是归档的

SQL>startupmount;
SQL>alterdatabasearchivelog;
SQL>alterdatabaseopen;
SQL>archiveloglist

归档与非归档的切换请参考：
http://blog.csdn.net/tianlesoftware/archive/2009/10/18/4693470.aspx
或者
http://user.qzone.qq.com/251097186/blog/1236924069

4.1.2.源数据库和目的数据库均需要设置的参数：

altersystemsetglobal_names=truescope=both;
默认为false,DatabaseLink使用的是数据库的global_name。
altersystemsetaq_tm_processes=2scope=both;
以下参数都是10G的默认值，检查下就可以了.无需设置
如：Showparameterjob_queue_processes
altersystemsetjob_queue_processes=10scope=both;
altersystemsetsga_target=300mscope=spfile;
altersystemsetopen_links=4scope=spfile;
altersystemsetstatistics_level='TYPICAL'scope=both;
10g默认为Typical，性能统计模式
altersystemsetlogmnr_max_persistent_sessions=1scope=spfile;
10g默认为1，持久的日志挖掘会话数。
altersystemset"_job_queue_interval"=1scope=spfile;
altersystemsetaq_tm_processes=1;
altersystemsetstreams_pool_size=200mscope=both;
注意streams_pool_size一定要够大，因为如果启用了SGA_TARGET，ORACLE可能分配很少内存给stream导致大量信息被spill到磁盘导致查询DBA_APPLY,DBA_CAPTURE,DBA_PROPGATION全部状态ENABLED但就是没有数据被同步。
同时设置_job_queue_interval也是为了提高队列检查时间，防止apply出问题。
注意：与复制有关的2个参数：
如果等了足够长的时间发现数据没有复制过来，仔细检查了capture/propagation/apply各进程的状态都是正常的，并检查参数.
altersystemset"_job_queue_interval"=1scope=spfile;
并且将aq_tm_processes参数改为1（我原来这是为10）
altersystemsetaq_tm_processes=1;
改完后重启，发现数据就可以去了。这个隐含参数只是控制对job队列的检查频率，默认5秒。

4.1.3.在源数据库上启用追加日志
可以基于Database级别或Table级别，启用追加日志（SupplementalLog）。在建立根据Schema粒度进行复制的OracleStream环境中，如果确认Schema下所有Table都有合理的主键(PrimaryKey)，则不再需要启用追加日志。
#启用Database追加日志
alterdatabaseaddsupplementallogdata;

#启用Table追加日志
altertableaddsupplementloggrouplog_group_name(table_column_name)always;

4.1.4.源数据库和目的数据库创建相同表空间和用户并赋权

创建表空间：
CREATETABLESPACEstreams_tbsDATAFILE'D:/ORACLE/ORADATA/DBA/streams_tbs.dbf'SIZE100MREUSEAUTOEXTENDONMAXSIZEUNLIMITED;
CREATETABLESPACEstreams_tbsDATAFILE'D:/ORACLE/ORADATA/DBA2/streams_tbs.dbf'SIZE100MREUSEAUTOEXTENDONMAXSIZEUNLIMITED;
创建用户：
CREATEUSERstrmadminIDENTIFIEDBYstrmadminDEFAULTTABLESPACEstreams_tbs
QUOTAUNLIMITEDONstreams_tbs;
赋权：
GRANTDBAtostrmadmin;/*10g要求dba角色以简化配置*/
execDBMS_STREAMS_AUTH.GRANT_ADMIN_PRIVILEGE('strmadmin');/*赋予流管理特权*/

4.1.5配置listener.ora和tnsnames.Ora
DBA2=
(DESCRIPTION=
(ADDRESS=(PROTOCOL=TCP)(HOST=10.85.10.80)(PORT=1521))
(CONNECT_DATA=
(SERVER=DEDICATED)
(SERVICE_NAME=DBA2.anqingren.org)
)
)

4.1.6创建DBLink

先用strmadmin登陆，在创建dblink

4.1.6.1在源端建到目库的dblink
SQL>connstrmadmin/strmadmin;
已连接。
SQL>createdatabaselinkDBA2connecttostrmadminidentifiedbystrmadminusing'dba2';
数据库链接已创建。

测试：
SQL>select*fromglobal_name@dba2;
GLOBAL_NAME
-------------------
DBA2.ANQINGREN.ORG

4.1.6.2在目端建到源库的dblink
SQL>connstrmadmin/strmadmin;
已连接。
SQL>createdatabaselinkdbaconnecttostrmadminidentifiedbystrmadminusing'dba';
数据库链接已创建。


4.2用户级的复制(不支持sys和system用户)

4.2.1最初的用户复制

分别在源库和目标数据库上创建测试用户
SQL>createuserdaveidentifiedbydave;
SQL>grantdbatodave;

4.2.1在源数据库上创建Source队列
connectstrmadmin/strmadmin@dba;
BEGIN
DBMS_STREAMS_ADM.SET_UP_QUEUE(
queue_table=>'SOURCE_QUEUE_TABLE',--队列表
queue_name=>'SOURCE_QUEUE',--队列
queue_user=>'strmadmin');--队列用户
END;
/
或者:
SQL>EXECDBMS_STREAMS_ADM.SET_UP_QUEUE();
PL/SQLproceduresuccessfullycompleted.

该命令会创建一个队列缺省名：streams_queue，队列表缺省是：STREAMS_QUEUE_TABLE
队列存储的object类型是anaydata

移除队列：
execdbms_streams_adm.remove_queue(
queue_name=>'streams_queue',
cascade=>true,
drop_unused_queue_table=>true);.


可以用查询dba_queues,dba_queue_tables来检查：
SQL>selectowner,queue_table,namefromdba_queueswhereowner='STRMADMIN';
OWNERQUEUE_TABLENAME
------------------------------------------------------------
STRMADMINSOURCES_QUEUE_TABLESOURCES_QUEUE
STRMADMINSOURCES_QUEUE_TABLEAQ$_SOURCES_QUEUE_TABLE_E

SQL>selectowner,queue_table,object_typefromdba_queue_tableswhereowner='STRMADMIN';
OWNERQUEUE_TABLEOBJECT_TYPE
-----------------------------------------------------
STRMADMINSOURCES_QUEUE_TABLESYS.ANYDATA

4.2.2在目标数据库DBA2上创建接收队列

connectstrmadmin/strmadmin@dba2;
BEGIN
DBMS_STREAMS_ADM.SET_UP_QUEUE(
queue_table=>'TARGET_QUEUE_TABLE',--队列表
queue_name=>'TARGET_QUEUE',--队列
queue_user=>'strmadmin');--队列用户
END;
/
可以用查询dba_queues,dba_queue_tables来检查：
SQL>selectowner,queue_table,namefromdba_queueswhereowner='STRMADMIN';
OWNERQUEUE_TABLENAME
-------------------------------------------------------
STRMADMINTARGET_QUEUE_TABLETARGET_QUEUE
STRMADMINTARGET_QUEUE_TABLEAQ$_TARGET_QUEUE_TABLE_E

4.2.3在源数据库上创建capture进程
SQL>connstrmadmin/strmadmin@DBA;
SQL>BEGIN
DBMS_STREAMS_ADM.ADD_SCHEMA_RULES(
schema_name=>'dave',--用户名,如dave，非sys或者system
streams_type=>'capture',
streams_name=>'capture_stream',
queue_name=>'strmadmin.SOURCE_QUEUE',
include_dml=>true,
include_ddl=>true,
source_database=>'DBA',
include_tagged_lcr=>false,
inclusion_rule=>true);
END;
/
PL/SQLproceduresuccessfullycompleted.


可以通过dba_capture查看：
SQL>selectCAPTURE_NAME,QUEUE_NAME,START_SCN,STATUS,CAPTURE_TYPEfromdba_capture;
CAPTURE_NAMEQUEUE_NAMESTART_SCNSTATUSCAPTURE_TY
---------------------------------------------------------------------------------------------
CAPTURE_STREAM1SOURCES_QUEUE1294052DISABLEDLOCAL

SQL>select*fromALL_CAPTURE_PREPARED_SCHEMAS;
SCHEMA_NAMETIMESTAMPSUPPLEMESUPPLEMESUPPLEMESUPPLEME
------------------------------------------------------------------
SYSTEM20-10月-09IMPLICITIMPLICITIMPLICITNO

4.2.4在源数据库上创建传播进程
SQL>connstrmadmin/strmadmin@DBA;
SQL>BEGIN
DBMS_STREAMS_ADM.ADD_SCHEMA_PROPAGATION_RULES(
schema_name=>'dave',
streams_name=>'source_to_target',
source_queue_name=>'strmadmin.SOURCE_QUEUE',
destination_queue_name=>'strmadmin.TARGET_QUEUE@DBA2',--此队列待创建
include_dml=>true,
include_ddl=>true,
source_database=>'DBA',
inclusion_rule=>true,
queue_to_queue=>true);
END;
/
PL/SQLproceduresuccessfullycompleted.

重新启动propagationprocess
--dbms_propagation_adm.start_propagation(propagation_name)
--其中propagation_name可以从表all_propagation中取得
select*fromall_propagation;
SQL>execdbms_propagation_adm.start_propagation('source_to_target');

execdbms_propagation_adm.stop_propagation('source_to_target');
PL/SQLproceduresuccessfullycompleted.

select*fromall_propagation;

可以通过dba_propagations查看结果：
SQL>selectPROPAGATION_NAME,SOURCE_QUEUE_NAME,DESTINATION_QUEUE_NAME,DESTINATION_DBLINK,STATUSfromdba_propagation;

PROPAGATION_NAMESOURCE_QUEUE_NADESTINATION_QUEDESTINATION_DBLINKSTATUS
--------------------------------------------------------------------------
STREAM1_TO_STREAM2SOURCES_QUEUETARGET_QUEUEDBA2.ANQINGREN.ORGENABLED


#修改propagation休眠时间为0，表示实时传播LCR。
begin
dbms_aqadm.alter_propagation_schedule(
queue_name=>'SOURCE_QUEUE',
destination=>'DBA2',
latency=>0);
end;
/


4.2.5在目标数据库DBA2上创建Apply进程

SQL>BEGIN
DBMS_STREAMS_ADM.ADD_SCHEMA_RULES(
schema_name=>'SYSTEM',
streams_type=>'apply',
streams_name=>'target_apply_stream',
queue_name=>'strmadmin.TARGET_QUEUE',
include_dml=>true,
include_ddl=>true,
include_tagged_lcr=>false,
source_database=>'DBA',
inclusion_rule=>true);
END;
/

可以通过：
dba_apply
v$streams_apply_reader
v$streams_apply_coordinator
v$streams_apply_server
查看状态

SQL>selectapply_name,queue_name,statusfromdba_apply;

APPLY_NAMEQUEUE_NAMESTATUS
--------------------------------------------------------------------
TARGET_APPLY_STREAMTARGET_QUEUEDISABLED

4.2.6实例化复制数据库

4.2.6.1用exp/imp完成实例化

带数据完成源端exp和目端的import：
ExpUSERID=SYSTEM/ADMIN@DBAOWNER=SYSTEMFILE=D:/STRM.dmpLOG=STRM.logOBJECT_CONSISTENT=YSTATISTICS=NONE

impUSERID=SYSTEM/ADMIN@DBA2FULL=YCONSTRAINTS=YFILE=D:/STRM.dmpIGNORE=YCOMMIT=YLOG=D:/import.logSTREAMS_INSTANTIATION=Y

或仅作实例化(不带数据)：
expUSERID=SYSTEM/ADMIN@DBAOWNER=SYSTEMFILE=D:/STRM.dmpLOG=D:/export.logOBJECT_CONSISTENT=YSTATISTICS=NONEROWS=NO

impUSERID=SYSTEM/ADMIN@DBA2FULL=YCONSTRAINTS=YFILE=D:/STRM.dmpCOMMIT=YLOG=D:/import.logSTREAMS_INSTANTIATION=YIGNORE=Y

4.2.6.2直接设置SCN的方式进行实例化：
---获取源库互置用户的SCN
connectstrmadmin/strmadmin@DBA
setserveroutputon
DECLARE
iscnNUMBER;--VariabletoholdinstantiationSCNvalue
BEGIN
iscn:=DBMS_FLASHBACK.GET_SYSTEM_CHANGE_NUMBER();
DBMS_OUTPUT.PUT_LINE('InstantiationSCNis:'||iscn);
END;
/
---设置为目标库互置用户的SCN
connectstrmadmin/strmadmin@DBA2
BEGIN
DBMS_APPLY_ADM.SET_SCHEMA_INSTANTIATION_SCN(
source_schema_name=>'SYSTEM',
source_database_name=>'DBA',
instantiation_scn=>&iscn);
END;
/


4.2.7.在目标数据库上启动Apply进程
connectstrmadmin/strmadmin@DBA2
SQL>BEGIN
DBMS_APPLY_ADM.SET_PARAMETER(apply_name=>'target_apply_stream',parameter
=>'disable_on_error',VALUE=>'n');
END;
/

SQL>BEGIN
DBMS_APPLY_ADM.START_APPLY(
apply_name=>'target_apply_stream');
END;
/
#停止Apply进程
begin
dbms_apply_adm.stop_apply(
apply_name=>'target_apply_stream');
end;
/

查看状态
SQL>selectapply_name,queue_name,statusfromdba_apply;

APPLY_NAMEQUEUE_NAMESTATUS
--------------------------------------------------------------------
TARGET_APPLY_STREAMTARGET_QUEUEENABLED


4.2.8在源数据库上启动capture
connectstrmadmin/strmadmin@DBA
SQL>BEGIN
DBMS_CAPTURE_ADM.START_CAPTURE(
capture_name=>'capture_stream');
END;
/
#停止Capture进程
begin
dbms_capture_adm.stop_capture(
capture_name=>'capture_stream');
end;
/

查看状态：
SQL>selectcapture_name,statusfromdba_capture;
CAPTURE_NAMESTATUS
-----------------------
CAPTURE_STREAMENABLED

4.3表级的复制
maintain_tts表空间复制
maintain_schemas用户复制
maintain_tables表复制的
与dbms_streams_adm的maintain_global、maintain_tts、maintain_schemas等过程相比，maintain_tables过程使用则更灵活，可以为某些特殊的表拿出来单独配置，maintain_tables也象其它的过程一样，提供了一蓝子解决方案，如果要添加新的表到复制中，只需要再次执行maintain_tables过程即可。
4.3.1在stream进行配置前，需要做些准备工作
A源库与目标库初始化参数的设置
altersystemsetaq_tm_processes=1scope=spfile;
altersystemsetjob_queue_processes=2scope=spfile;
altersystemsetglobal_names=truescope=spfile;
altersystemsetstreams_pool_size=20mscope=spfile;
说明streams_pool_size在生产环境中最好>200m
B源库与目标库tnsnames.ora配置
见4.1
C源库与目标库复制管理员的创建
见4.1
D在源库与目标库创建DBLINK
见4.1
E源库与目标库必须处于归档模式
见4.1
F源库与目标库必须创建directory
connectstrmadmin/strmadmin@DBA;
createdirectoryDIR_DBAas'D:/Stream/DBA';
connectstrmadmin/strmadmin@DBA2;
createdirectoryDIR_DBA2as'D:/Stream/DBA2';
说明:在复制表空间时,创建directory需要指定该表空间所在的目录
G创建测试用的表空间及表
CREATETABLESPACEDAVEDATAFILE'D:/ORACLE/ORADATA/DBA/DAVE.dbf'SIZE100M;
createusertianleidentifiedbytianledefaulttablespaceDAVE;
grantdbatotianle;
connTIANLE/TIANLE
createtabletest(idint,namevarchar2(20));
createtabletest2(idint,namevarchar2(20));
insertintotestvalues(1,'dave');
insertintotestvalues(2,'bl');
不能使用默认的表空间.

4.3.2在源库执行MAINTAIN_TTS过程
SQL>connectstrmadmin/strmadminpw@DBA;
declare
v_tablesdbms_utility.uncl_array;
begin
v_tables(1):='tianle.test;
v_tables(2):='tianle.test2';
dbms_streams_adm.maintain_tables(
table_names=>v_tables,
source_directory_object=>null,
destination_directory_object=>null,
source_database=>'DBA',
destination_database=>'DBA2',
perform_actions=>true,
bi_directional=>false,
include_ddl=>true,
instantiation=>dbms_streams_adm.instantiation_table_network);
end;
/
说明:在源库执行maintain_tables时,目标库几乎什么都不用做,stream环境已经配置好啦,
如果想复制其它的表,只用再执行maintain_tables过程即可

4.3.3如果在执行2的过程时失败,需要清除脚本
--selectscript_idfromdba_recoverable_script;
--execdbms_streams_adm.RECOVER_OPERATION('&1','PURGE');
declare
v_script_idvarchar2(32);
begin
selectscript_idintov_script_idfromdba_recoverable_script;
dbms_streams_adm.RECOVER_OPERATION(v_script_id,'PURGE');
exception
whenno_data_foundthen
DBMS_OUTPUT.PUT_LINe('nodatafound');
whenothersthen

　　4.5全库级复制

以上主要为大家介绍了pre_instantiation_setup/post_instantiation_setup过程在配置全库复制的方法，以下介绍dbms_streams_adm的maintain_global过程如何配置stream全库复制方法，适用于10gR2及以后版本。
不支持sys/system用户的变更。
1.在stream进行配置前，需要做些准备工作

　　a源库与目标库初始化参数的设置　

altersystemsetaq_tm_processes=4scope=spfile; altersystemsetjob_queue_processes=5scope=spfile; altersystemsetglobal_names=truescope=spfile; altersystemsetstreams_pool_size=51mscope=spfile;

说明streams_pool_size在生产环境中最好>200m

　　b源库与目标库tnsnames.ora配置
见4.1
　　c源库与目标库复制管理员的创建　
见4.1
　　d源库与目标库创建互连的DBLINK
见4.1
　　e源库与目标库必须处于归档模式
见4.1

　　f源库与目标库必须创建directory
createdirectorydir_DBAas'D:/Stream/DBA';
createdirectorydir_DBA2as'D:/Stream/DBA2';
　　
2.在源库执行MAINTAIN_GLOBAL过程
begin
dbms_streams_adm.maintain_global(
source_directory_object=>'dir_DBA',
destination_directory_object=>'dir_DBA2',
source_database=>'DBA',
destination_database=>'DBA2',
perform_actions=>true,
include_ddl=>true,
instantiation=>DBMS_STREAMS_ADM.INSTANTIATION_FULL_NETWORK
);
end;


　　说明:在执行maintain_global时,源库与目标库必须创建directory,然后在源库执行,目标库几乎什么都不用做,stream环境已经配置完毕。


<!--EndFragment-->