Goldengate抽取ORACLE 数据 到 Hbase

remington_young

　　1、        软件版本说明：
　　Goldengate 12c  12.2.0.1 forOracle （源端 ）
　　Goldengate 12c  12.2.0.1  for Bigdata ( 目标端)
　　Oracle 11g 11.2.0.4.0 (注oracle 数据库必须是11.2.0.4之后的版本，之前的oracle 数据库版本不支持ogg 12c )
　　HBase 1.1.2
　　Java 1.8.0_91
　　2、        机器IP 说明
　　源端IP地址（192.168.45.176）安装  Oracle 11g 11.2.0.4  ， Goldengate 12c
　　目标端 IP地址（192.168.45.175），安装 hbase,Goldengate 12c ，软件安装
　　hbase已采用ambari 进行安装，安装过程不作详细说明，在此主要说明下各软件的安装目录，以及使用的端口。
　　Oracle 12c  for Oracle （192.168.45.176） 安装目录为:/home/oracle/oggdb
　　Oracle 12c for bigdata  (192.168.45.175)    安装目录为：/ogg
　　Hbase 安装目录： /usr/hdp/2.4.2.0-258/hbase
　　3、        源端（192.168.45.176） 的配置
　　#连接数据库
　　sqlplus / as sysdba
　　SQL> shutdownimmeidate;
　　SQL> startup mount;
　　#开启归档日志
　　SQL> alter database archivelog;
　　SQL> archive log list
　　#开启数据库级日志
　　SQL> alter database force logging;
　　#开启 goldengate 复制功能（注：此参数必须开启，oracle 11.2.0.4 之后的数据库才支持此参数）
　　SQL> alter system set enable_goldengate_replication=true scope=both;
　　#关闭 垃圾回收站
　　SQL> alter system set recyclebin=off scope=spfile;
　　#开启数据库
　　SQL> alter databaseopen;
　　#创建ogg 管理用户
　　SQL>  create user oggidentified by ogg account unlock;
　　SQL> grant execute on utl_file to ogg;
　　SQL>grant restricted session to ogg;
　　SQL> grant dba to ogg
　　进入源端（192.168.45.176）OGG 目录，配置数据初始化。
　　# cd /home/oracle/oggdb
　　#进入ogg
　　[oracle@sy-bd-061 oggdb]$ ./ggsci
　　#配置源端mgr进程
　　GGSCI (oracle) 10> edit params mgr
　　PORT 7809
　　#配置同步用户
　　GGSCI (oracle) 7> dblogin userid ogg,password ogg
　　Successfully logged into database.
　　#给scott用户下的所有表开启附加日志
　　GGSCI (oracle) 8> add trandata scott.*
　　#源端配置initload extract 进程
　　GGSCI (oracle) 8> add extract fafainih, sourceistable
　　EXTRACT added.
　　#配置extract进程 fafainie 参数
　　extractfafainih
　　useridogg,password ogg
　　rmthost192.168.45.175,mgrport 7809
　　--rmttaskreplicat,group fafainir
　　RMTFILE./dirdat/hh
　　tablescott.*;
　　4、        目标 端的配置。（192.168.45.175）
　　#在用户家目录下的 ~/.bash_profile中配置用户的JAVA_HOME，以及LIB_PATH 环境变量。
　　exportJAVA_HOME=/usr/java/jdk1.8.0_91/jre/
　　export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/java/jdk1.8.0_91/jre/lib/amd64/libjsig.so:/usr/java/jdk1.8.0_91/jre/lib/amd64/server/libjvm.so:/usr/java/jdk1.8.0_91/jre/lib/amd64/server:/usr/java/jdk1.8.0_91/jre/lib/amd64
　　#使新加入的环境变量生效
　　source ~/.bash_profile
　　#进入 OGG安装目录
　　cd  /ogg
　　#复制 hbase对应的配置文件。
　　cp AdapterExamples/big-data/hbase/*   dirprm/
　　cd /ogg/dirprm
　　[root@sy-bd-060 dirprm]# vi hbase.props
　　gg.handlerlist=hbase
　　gg.handler.hbase.type=hbase
　　gg.handler.hbase.hBaseColumnFamilyName=cf
　　gg.handler.hbase.keyValueDelimiter=CDATA[=]
　　gg.handler.hbase.keyValuePairDelimiter=CDATA[,]
　　gg.handler.hbase.encoding=UTF-8
　　gg.handler.hbase.pkUpdateHandling=abend
　　gg.handler.hbase.nullValueRepresentation=CDATA[NULL]
　　gg.handler.hbase.authType=none
　　gg.handler.hbase.includeTokens=false
　　gg.handler.hbase.mode=tx
　　goldengate.userexit.timestamp=utc
　　goldengate.userexit.writers=javawriter
　　javawriter.stats.display=TRUE
　　javawriter.stats.full=TRUE
　　gg.log=log4j
　　gg.log.level=INFO
　　gg.report.time=30sec
　　#配置hbase 所用库的路径
　　gg.classpath=/usr/hdp/2.4.2.0-258/hbase/lib/*:/usr/hdp/2.4.2.0-258/hbase/conf/:/usr/hdp/2.4.2.0-258/hadoop/client/*
　　javawriter.bootoptions=-Xmx512m -Xms32m-Djava.class.path=ggjava/ggjava.jar
　　#进入ogg
　　cd  /ogg
　　./ggsci
　　GGSCI (hbase) 2> edit params mgr
　　Port 7809
　　#配置复制进程
　　GGSCI (hbase) 5> add replicat irhbase, specialrun
　　SPECIALRUN
　　END RUNTIME
　　EXTFILE ./dirdat/hh
　　TARGETDB LIBFILE libggjava.so SETproperty=dirprm/hbase.props
　　REPORTCOUNT EVERY 1 MINUTES, RATE
　　GROUPTRANSOPS 10000
　　MAP scott.*, TARGET BDTEST.*;
　　5、        源端（192.168.45.176）
　　cd /home/oracle/oggdb
　　./ggsci
　　#启动fafainie 进程
　　GGSCI (oracle) 1> start fafainih
　　#查看进程的执行情况
　　GGSCI (oracle) 2> view report fafainih
　　6、        目标端（192.168.45.175）
　　cd /ogg
　　#启动复制进程
　　./replicat paramfile ./dirprm/irhbase.prm reportfile ./dirrpt/irhbase.rpt -p INITIALDATALOAD
　　#进入hbase 环境
　　Hbase shell

　　#查看表中的数据

　　发现表中的数据已经存在，说明oracle的 数据成功加载至 hbase.
　　源端(192.168.45.176)配置数据的动态抓取
　　cd  /home/oracle/oggdb
　　sqlplus / as sysdba
　　SQL> @marker_setup
　　#在以下提示中输入：ogg
　　Enter Oracle GoldenGate schema name:ogg
　　#创建OGG表空间，授予OGG用户相应的权限
　　SQL> CREATE TABLESPACE TBS_OGG DATAFILE '/home/oracle/app/oracle/oradata/oggdb/tbs_ogg_01.dbf'SIZE 2G AUTOEXTEND ON NEXT 50M MAXSIZE UNLIMITED;
　　Tablespace created.

　　SQL>>
　　User>　　SQL> grant connect,resource,unlimited tablespace to ogg;
　　Grant succeeded.
　　SQL> @ddl_setup.sql
　　#在以下提示中：输入ogg
　　Enter Oracle GoldenGate schema name:ogg
　　SQL> @role_setup
　　# 在以下提示中：输入ogg
　　Enter GoldenGate schema name:ogg
　　SQL> GRANT GGS_GGSUSER_ROLE TO OGG;
　　#配置OGG 日志抓取进程
　　cd  /home/oracle/oggdb
　　./ggsci
　　#源端创建OGG 抽取进程
　　GGSCI (oracle) 1> add extract scotthb, tranlog, begin now
　　# 指定抽取进程trail文件的位置
　　GGSCI (oracle) 2> add rmttrail /ogg/dirdat/ha,extract scotthb
　　# 编辑 scotthb 进程参数
　　GGSCI (oracle) 3> edit params scotthb
　　extract scotthb
　　userid ogg,password ogg
　　rmthost 192.168.45.175, mgrport 7809
　　rmttrail /ogg/dirdat/ha
　　discardfile /home/oracle/oggdb/dirrpt/trail.dsc,append,megabytes 100
　　ddl include mapped
　　table scott.*;
　　7、目标端（192.168.45.175）配置数据复制进程
　　cd /ogg
　　./ggsci
　　#配置全局参数
　　GGSCI (hbase) 1> edit params ./GLOBALS
　　ggschema ogg
　　checkpointtable ogg.chkpnt_fafa
　　#配置解析进程
　　GGSCI (hbase) 2> add replicat rscott,exttrail /ogg/dirdat/ha
　　#编辑解析进程参数
　　GGSCI (hbase) 3> edit params  rscott
　　REPLICAT rscott
　　-- Trail file for this example is located in"AdapterExamples/trail" directory
　　-- Command to add REPLICAT
　　-- add replicat rhbase, exttrail AdapterExamples/trail/tr
　　TARGETDB LIBFILE libggjava.so SET property=dirprm/hbase.props
　　REPORTCOUNT EVERY 1 MINUTES, RATE
　　GROUPTRANSOPS 10000
　　MAP scott.*, TARGET bdtest.*;
　　8、源端(192.168.45.176)启动抓取进程
　　cd  /home/oracle/ogdb
　　./ggsci
　　GGSCI (oracle) 1> start scotthb
　　9、 目标端(192.168.45.173)启动复制进程
　　cd /home/oracle/oggdb
　　./ggsci
　　GGSCI (kafka) 1> start rscott
　　至此，整个配置过程完成，配置完成后，可以通过在源端（192.168.45.176）中的oracle 数据库中，进行DML操作，测试新变化的数据，是否能同步到hbase。
　　10、源端数据库做测试（192.168.45.176）
　　sqlplus / as sysdba

　　SQL>>　　SQL> conn scott/tiger
　　#向scott.dept表中新插入一条数据
　　SQL> insert into scott.deptvalues(50,'DEVELOP','SHANGHAI');
　　SQL> commit;
　　11、在目标端（192.168.45.175）上查看数据
　　Hbase shell

　　在hbase中，已经可以查询到新增加的数据。
　　12、在源端（192.168.45.176）修改oracle 数据.
　　sqlplus / as sysdba
　　SQL> update scott.dept set loc='HANGZHOU'where deptno=50;
　　SQL> commit;
　　13、在目标端(192.168.45.175) 查看数据
　　Hbase shell

　　发现hbase 数据对应的记录已经相应的修改。