返回首页

gbase数据、南大通用产品文档:GBase8a库级别同步

更新日期:2024年09月11日

库级别增量同步要求源数据库与目标数据库下的所有表的表名及列名完全
一致。如果有部分表不需要同步,可以使用排除表功能排除掉这些表。
下面按照步骤详细介绍:
修改任务文件config_task.xml,该文件在读端,写端,管理端各有一份,
如果同步工具安装后再修改该文件请确保三处配置文件一致。


id="server1"
mqType="kafka" queueName="8tto8tMQ" dataRecoveryMode="auto"
isHighAvailable="false">

GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 103 -
httpPort="8080" isTableHotPatch="true"/>
readParseAdapter="adapter" user="root" password="root" queueSize="10000"
openMonitor="true" monitorInterval="300" rpcPort="9191" sshPort="22"/>
writeDataAdapter="adapter" user="root" password="root"
errorishandle="true" sendDataBySocket="false" sshPort="22" rpcPort="9192"
monitorInterval="300"/>

id="8t_8t_5.1_5.2">

charset="GB18030"
type="GBASE8T"
startLSN="0"
fetchSize="500"
oracleScnStep="50000"
timestampWithFraction="false"
maxRecordsPerRead="200"
maxSizeOfPerRecord="1024"
timeOut="2"
driver="com.informix.jdbc.IfxDriver"
url="jdbc:informix-sqli://192.168.5.4:31267/
syscdcv1:informixserver=ol_informix1210"
user="informix"
password="1"
catalog="test"
haNodeName=""
haCheckTime="30">

charset="UTF8"
type="GBASE8T"
commitSize="100"
queueSize="20000"
user="informix"

GBase RTSync 同步工具手册
- 104 -
南大通用数据技术股份有限公司
password="1"
driver="com.informix.jdbc.IfxDriver"
catalog="testdb"
timeOut="2"
url="jdbc:informix-sqli://192.168.5.4:31267/
testdb:informixserver=ol_informix1210"
>




sourcePkColName="" targetTableName="" targetPkColName="" />

sourcePkColName="" targetTableName="t2" targetPkColName="" />






修改消息队列配置文件:config_kafka_8tto8tMQ.properties

GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 105 -
#kafka 主题
topic.name=8tto8t
#producer conf
#kafka集群ip及服务端口
bootstrap.servers=192.168.5.11:9092,192.168.5.12:9092
#批量发送数据到kafka的批次数
kafka.batch.commit.count=400
#批量发送数据到kafka等待的超时时间,单位毫秒
kafka.batch.commit.time=100
#kafka 发送数据到kafka异常重发的次数,超过该次数仍然未成功同步工具将退出服务
kafka.resend.max.retries=3
#kafka 接收数据的应答机制。
0代表立即返回,
无论数据是否成功写入kafka;1代表leader
节点成功写入磁盘后才返回结果;all代表所有节点都要写入磁盘才返回结果。根据数据安
全性要求可以实际配置。
kafka.acks=all
#kafka生产者其他必要参数配置,参数信息为标准的kafka生产者参数。
kafka.producer.paramers=request.timeout.ms=30000;metadata.fetch.timeout.
ms=30000
#consumer conf
#kafka所使用zookeeper信息
zookeeper.connect=192.168.5.21:2181,192.168.5.22:2181,192.168.5.23:2181
#kafka消费者组名称
group.id=test
#自动提交时间间隔,一般不用修改
auto.commit.interval.ms=1000
#zookeeper follower能落后leader多久还被认为是活着的
zookeeper.sync.time.ms=2000
#zookeeper session超时时间,如果这段时间没有收到zk的心跳,则认为kafka服务异常
zookeeper.session.timeout.ms=4000
#发送数据到kafka单条数据的最大值,单位字节,超过该大小经进行分包发送
send.data.max.size=1000000
#从kafka获取单条数据的最大值,单位字节,该值应该大于等于send.data.max.size
fetch.message.max.bytes=1000000
完成后,既可启动同步工具。使用root 用户登录192.168.5.3,执行如下

GBase RTSync 同步工具手册
- 106 -
南大通用数据技术股份有限公司
命令启动同步工具组件:
# cd /opt/RTSync /
# sh RTSyncManagerServer.sh start
启动后,同步工具将开始同步数据工作。
可以使用如下命令监控同步工具运行状况。
# tail -f logs/sync.log

支持调用的上下文环境:

支持在PLSQL 的存储过程内使用COMMIT/ROLLBACK/SAVEPOINT。

支持含有EXCEPTION 的存储过程使用COMMIT/ROLLBACK/SAVEPOINT。

支持在存储过程的EXCEPTION 语句内使用COMMIT/ROLLBACK/SAVEPOINT。

支持在事务块里调用含有COMMIT/ROLLBACK/SAVEPOINT 的存储过程,即通过
/BEGIN/START/END 等开启控制的外部事务。

支持在子事务中调用含有SAVEPOINT 的存储过程,即存储过程中使用外部定义的
SAVEPOINT,回退事务状态到存储过程外定义的SAVEPOINT 位置。

支持存储过程外部对存储过程内定义的SAVEPOINT 可见,
即存储过程外可以将事务修
改回滚到存储过程中定义SAVEPOINT 的位置。

支持多数PLSQL 的上下文和语句内调用COMMIT/ROLLBACK/SAVEPOINT,包括常
用的IF/FOR/CURSOR LOOP/WHILE。

支持存储过程返回值与简单表达式计算中调用含有
COMMIT/ROLLBACK/SAVEPOINT 的存储过程或者函数。

GBase 8c V5 开发者手册
南大通用数据技术股份有限公司
663
支持提交/回滚的内容:

支持DDL 在COMMIT/ROLLBACK 后的提交/回滚。

支持DML 的COMMIT/ROLLBACK 后的提交。

支持存储过程内GUC 参数的回滚提交。

内存问题
内存硬件故障会造成数据文件损坏、数据库运行异常等较为严重问题。在服务器开
启自检中会提示内存故障信息。在message、dmesg 等Linux 系统日志中,也会记
录一些内存有关的问题,可通过搜索MCE 查看,如:
[Hardware Error]:Machine check events logged
EDAC sbridge MC1:HANDLING MCE MEMORY ERROR