返回首页

gbase数据、南大通用产品文档:GBase8a源数据库Oracle,GBase8t,目标数据库为

更新日期:2024年09月11日

GBase 8t,GBase 8a
源数据库Oracle 信息:IP 为192.168.5.6;数据库用户名为test,密码
为test;Schema 为TEST,表为T3,列为COL1、COL2、COL3,注意表名和列名
的大小写。
源数据库Gbase8t 信息:IP 为192.168.5.4;数据库用户名为informix,
密码为1;数据库test,表为t3,列为col1、col2、col3。
目标数据库GBase 8t 信息:
IP 为192.168.5.5;
数据库用户名为informix,
密码为1;数据库为testdb,表为t4,列为a、b、c。
目标数据库Gbase 8a 信息:IP 为192.168.5.5、192.168.5.6;数据库用
户名为gbase,密码为gbase20110531;
数据库为testdb,表为t4,列为a、b、
c。
Kafka 集群信息:IP 为192.168.5.11、192.168.5.12;用户名为root,密
码为root。
读数据组件信息:IP 为192.168.5.1;用户名为root,密码为root。
写数据组件信息:IP 为192.168.5.2;用户名为root,密码为root。
管理组件信息:IP 为192.168.5.3;用户名为root,密码为root。
下面按照步骤详细介绍:
修改任务文件config_task.xml,该文件在读端,写端,管理端各有一份,
如果同步工具安装后再修改该文件请确保三处配置文件一致。


GBase RTSync 同步工具手册
- 144 -
南大通用数据技术股份有限公司

id="server1"
mqType="kafka" queueName="orato8tMQ" dataRecoveryMode="auto"
isHighAvailable="false">
httpPort="8080" isTableHotPatch="true"/>
readParseAdapter="adapter" user="root" password="root" queueSize="10000"
openMonitor="true" monitorInterval="300" rpcPort="9191" sshPort="22" />
writeDataAdapter="adapter" user="root" password="root"
errorishandle="true" sendDataBySocket="false" sshPort="22" rpcPort="9192"
monitorInterval="300"/>

id="ora_8t_5.1_5.2">

charset="utf8"
type="ORACLE"
startLSN="0"
fetchSize="500"
oracleScnStep="50000"
timestampWithFraction="false"
maxRecordsPerRead="200"
maxSizeOfPerRecord="1024"
timeOut="1"
driver="oracle.jdbc.driver.OracleDriver"
url="jdbc:oracle:thin:test/test@//192.168.5.6:1521/orcl"
user="test"
password="test"
catalog="TEST"
haNodeName=""
haCheckTime="30">

charset="UTF8"
type="GBASE8T"

GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 145 -
commitSize="100"
queueSize="20000"
user="informix"
password="1"
driver=" com.informix.jdbc.IfxDriver"
catalog="testdb"
timeOut="2"
url="jdbc:informix-sqli://192.168.5.4:31267/testdb:informixserver=ol
_informix1210"
>



deleteMode="NORMAL"
sourceTableName="T3" sourcePkColName="" targetTableName="t4"
targetPkColName="" >







id="8t_8a_5.1_5.2">

charset="GB18030"
type="GBASE8T"
startLSN="0"
fetchSize="500"
oracleScnStep="50000"
timestampWithFraction="false"
maxRecordsPerRead="200"
maxSizeOfPerRecord="1024"
timeOut="2"
driver="com.informix.jdbc.IfxDriver"
url="jdbc:informix-sqli://192.168.5.4:31267/

GBase RTSync 同步工具手册
- 146 -
南大通用数据技术股份有限公司
syscdcv1:informixserver=ol_informix1210"
user="informix"
password="1"
catalog="test">

charset="UTF8"
type="GCLUSTER"
commitSize="100"
queueSize="20000"
user="gbase"
password="gbase20110531"
driver="com.gbase.jdbc.Driver"
catalog="testdb"
timeOut="2"
url="jdbc:gbase://192.168.5.5:5258/gbase?useOldAliasMetadataBehavior
=true&rewriteBatchedStatements=true&connectTimeout=0&socketT
imeout=0">



deleteMode="NORMAL"
sourceTableName="t3"
sourcePkColName="" targetTableName="t4" targetPkColName="" >











GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 147 -
修改消息队列配置文件:config_kafka_orato8tMQ.properties。
#kafka 主题
topic.name=orato8t,8tto8a
#producer conf
#kafka集群ip及服务端口
bootstrap.servers=192.168.5.11:9092,192.168.5.12:9092
#批量发送数据到kafka的批次数
kafka.batch.commit.count=400
#批量发送数据到kafka等待的超时时间,单位毫秒
kafka.batch.commit.time=100
#kafka 发送数据到kafka异常重发的次数,超过该次数仍然未成功同步工具将退出服务
kafka.resend.max.retries=3
#kafka 接收数据的应答机制。
0代表立即返回,
无论数据是否成功写入kafka;1代表leader
节点成功写入磁盘后才返回结果;all代表所有节点都要写入磁盘才返回结果。根据数据安
全性要求可以实际配置。
kafka.acks=all
#kafka生产者其他必要参数配置,参数信息为标准的kafka生产者参数。
kafka.producer.paramers=request.timeout.ms=30000;metadata.fetch.timeout.
ms=30000
#consumer conf
#kafka所使用zookeeper信息
zookeeper.connect=192.168.5.21:2181,192.168.5.22:2181,192.168.5.23:2181
#kafka消费者组名称
group.id=test
#自动提交时间间隔,一般不用修改
auto.commit.interval.ms=1000
#zookeeper follower能落后leader多久还被认为是活着的
zookeeper.sync.time.ms=2000
#zookeeper session超时时间,如果这段时间没有收到zk的心跳,则认为kafka服务异常
zookeeper.session.timeout.ms=4000
#发送数据到kafka单条数据的最大值,单位字节,超过该大小经进行分包发送
send.data.max.size=1000000
#从kafka获取单条数据的最大值,单位字节,该值应该大于等于send.data.max.size
fetch.message.max.bytes=1000000
完成后,既可启动同步工具。使用root 用户登录192.168.5.3,执行如下

GBase RTSync 同步工具手册
- 148 -
南大通用数据技术股份有限公司
命令启动同步工具组件:
# cd /opt/RTSync /
# sh RTSyncManagerServer.sh start
启动后,同步工具将开始同步数据工作。
可以使用如下命令监控同步工具运行状况。
# tail -f logs/sync.log

启动DB 管理审计
按照3.2 节操作说明,可以启用“DB 管理类”的“创建数据库”的审计。

gbase_stmt_send_long_data ....................
66