返回首页

gbase数据、南大通用产品文档:GBase8a

更新日期:2024年09月11日

智能索引
..........................................
10

同步工具主要包含数据捕获组件,消息队列组件,数据投递组件和管理组
件五大部分功能模块。

数据捕获组件:在增量同步功能中,负责从源数据库获取与解析增量
数据日志,
其中包括日志信息的解析,
事务的过滤,
字段类型的拆解,
数据重组等,然后将处理好的数据发送给消息队列;

消息队列组件:在增量同步功能中,负责读端到写端的数据缓冲,目
前采用第三方系统,当前版本支持Kafka 和RabbitMQ。;在oracle
源库到Gbase8a 同步的全量转增量同步功能中,同步工具不使用消息
队列组件。

数据投递组件:在增量同步功能中,负责从Kafka 系统中获取缓冲数
据,
并根据目标数据库的类型组织和优化数据的入库方式。
针对GBase

GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 7 -
8a 集群数据库,将插入操作进行批量处理,将删除操作进行针对唯一
标识列的批量处理,将更新操作拆解为删除和插入操作进行处理,最
终将数据保存到GBase 8a 集群数据库中。针对事务型数据库则采用
事务模型机制保证数据入库的效率及数据一致性。

管理组件:负责对读端和写端进行统一控制,对读端和写端的数据处
理流程进行校验,保证读端和写端的数据处理一致。
同步工具当前版本针对增量同步支持数据捕获组件部分部署,即只部署数
据捕获组件和管理组件。数据捕获组件将解析到的数据以事务为单位发送到消
息队列组件中,由第三方应用消费消息队列中的数据。



sword GCIStringAllocSize (
GCIEnv *envhp,
GCIError *errhp,
const GCIString *vs,
ub4 *allocsize
);

GBase 8s GCI 接口使用指南

南大通用数据技术股份有限公司 112

获取字符串内存的分配大小(以代码点 (Unicode) 或字节为单位),分配的大小大于或等
于实际字符串大小。 参数
输入
/输出


envhp
输入/输出 环境句柄
errhp
输入/输出 错误信息句柄,该接口调用失败时,错误信息会存在该句柄上
vs
输入
返回其分配大小(以字节为单位)的字符串。vs 参数必须是非
NULL 指针
allocsize
输出
返回分配的字符串内存大小(以字节为单位)


如果执行成功,返回 GCI_SUCCESS,否则返回 GCI_ERROR。