更新日期:2024年09月11日
关于RTSync 同步工具大事务问题参数的设定
问题现象
在Consume 模式下,RTSync 同步工具无法同步一个包含100 万条INSERT 语句
的事务。源库为oracle,目标库为Gbase 8a。
解决方法
设置config_kafka_8tto8tMQ.properties 配置文件参数:
1.
send.data.max.size=600000000 单位为字节,小于kafka
中server.properties 参数message.max.bytes。
说明
同步工具read 端发往kafka 的最大的消息大小。
puredata 格式拆包,例如一条
消息为700M,会根据send.data.max.size 拆成2 个包,每个包为600000000,
发往kafka;
json 格式下不拆包,也就是一个消息大小不能超过send.data.max.size 设置的大
GBase 8a MPP Cluster 最佳实践
5 FAQ
文档版本(2022-02-11)
南大通用数据技术股份有限公司
85
小,目前同步工具测试的结果是发往kafka 的一个消息不能超过670M 。
2.
fetch.message.max.bytes=800000000 单位为字节,
设置的大小应该大于c
onfig_kafka_8tto8tMQ.properties 中的参数send.data.max.size,
等于k
afka 中server.properties 参数replica.fetch.max.bytes。
3.
kafka.producer.paramers=request.timeout.ms=300000;timeout.ms=300000
(beta3 版本新增参数,用于大事务处理670M)。
同时设置kafka 参数server.properties:
1.
message.max.bytes=800000000
kafka 消息的最大值,默认是1M,最大
可以设置为2147483646;
2.
replica.fetch.max.bytes=900000000 默认是1M,最大可以设置为2147483
646,此值的设置大于message.max.bytes;
3.
socket.request.max.bytes=900000000 默认是100M,最大可以设置为214
7483646,此值的设置大于message.max.bytes。