nikoo 发表于 2018-9-21 12:45:45

Configuring Oracle Data Integrator for Cloudera-candon123

  本文介绍如何将ODI以及Hadoop结合在一起。在此之前,确保已安装了ODI软件以及搭建好Hadoop环境,也可以参考我的其他博文进行环境搭建。

1、创建目录
  

# hdfs dfs -mkdir -p /user/oracle/odi_home  
# su - hdfs
  
$ hdfs dfs -chown oracle:oracle /user/oracle
  
$ hdfs dfs -chown oracle:supergroup /user/oracle/odi_home
  
$ hdfs dfs -ls /user/oracle/
  
drwxr-xr-x   - oracle supergroup          0 2018-03-06 13:59 /user/oracle/odi_home
  

  此目录为ODI HDFS的根目录,如果不创建此目录,则在后续的步骤中会遇到 ODI-26039错误。
  将Oracle用户添加到hadoop以及hdfs组:
  

# usermod -G dba,oper,asmdba,hadoop,hdfs oracle  

2、Big Data向导
  File->New…,选择Big Data Configurations


3、常规设置
  

Prefix:前缀,默认即可。  
Distribution:根据CDH版本进行选择。
  
Distribution Type:使用默认Normal即可。
  
Base Directory:/opt/cloudera/parcels/CDH
  
Technologies:根据实际环境选择相关组件
  

  结果如下图所示:


4、Hadoop设置

  Hadoop的DataServer属性配置如下图:

  Hadoop的通用设置内容如下:
  

HADOOP_CLASSPATH=${HADOOP_CLASSPATH:+$HADOOP_CLASSPATH':'}.:/opt/cloudera/parcels/CDH/lib/hive/lib/*:/u01/app/oracle/oraloader/jlib/*:/u01/app/oracle/orahdfs/jlib/*  
HADOOP_CLIENT_OPTS=-Dlog4j.debug -Dhadoop.root.logger=INFO,console -Dlog4j.configuration=file:/etc/hadoop/conf.cloudera.yarn/log4j.properties
  

  OLH/OSCH的设置内容如下:
  

ODCH_HOME=/u01/app/oracle/orahdfs  
OLH_FILES=/opt/cloudera/parcels/CDH/lib/hive/lib/hive-contrib.jar
  
OLH_HOME=/u01/app/oracle/oraloader
  
OLH_JARS=/opt/cloudera/parcels/CDH/lib/hive/lib/hive-common.jar,/opt/cloudera/parcels/CDH/lib/hive/lib/hive-exec.jar,/opt/cloudera/parcels/CDH/lib/hive/lib/hive-metastore.jar
  

5、HDFS设置

  HDFS的物理方案属性配置如下图:


6、Hive设置

  Hive的DataServer属性如下图所示:


  Hive的物理方案属性如下图所示:


7、Oozie设置


8、验证设置



页: [1]
查看完整版本: Configuring Oracle Data Integrator for Cloudera-candon123