gbase数据、南大通用产品文档：GBase8c

data_replicate_buffer_size
参数说明：发送端与接收端传递数据页时，队列占用内存的大小。此参数会影响主备之
间复制的缓冲大小。
该参数属于POSTMASTER 类型参数，请参考表15-1 中对应设置方法进行设置。
取值范围：整型，4096~1072693248，单位为KB。
默认值：16MB（即16384KB）

取值：[0,100]
默认值：0
说明：cpu 允许使用的百分比上限。
修改方式：可使用set 语句修改值也可在配置文件中修改值。适用于global 范围。

语法格式

transaction topic
CREATE KAFKA CONSUMER TRANSACTION TOPIC
BROKERS 'ip:port, ip:port,…’;

loader topic
CREATE KAFKA CONSUMER LOADER TOPIC
BROKERS 'ip:port, ip:port,…’ [PARTITIONS list>] DURATION INTO TABLE dbname.tbname ;

GBase 8a MPP Cluster 产品手册
5 数据库管理指南
文档版本953（2022-09-15）
南大通用数据技术股份有限公司
1269
表5- 163 参数说明
字段名称
含义说明
consumer name
消费任务的名称。唯一，不允许重复，最大长度64 bytes；
kafka_topic_name
需要消费的kafka topic 名称，最大长度64bytes。由用户事先
在kafka server 上创建。
注：
创建时kafka topic name 必须在kafka server 上已真实存在
Ip
kafka broker 的ip。
Port
kafka broker 的port。
Partition list
指定从topic 的哪个/哪些partition 消费数据，形式为’0,1,2’，
如果指定使用全部partitions 可以用all。
默认是从topic 的所有partition 消费数据。
创建loader topic consumer 时，partition 必须是kafka server 上
对应topic 的有效partition。
Time in ms
以ms 为单位的消耗时间。含义是：
Loader topic 的consumer task 会告诉gnode 的loader ，在
duratition 的时间内，持续从kafka server 读取数据，数据在内
存中缓存，达到duratition 时间后，再让数据落盘。
dbname.tbname
数据库名.表名，意为loader topic 的consumer 加载数据的目
标表。
Loader_options
从加载命令选项沿袭过来，
具体含义和用法可以参考5.2.2 章
节集群加载语法说明，可以根据加载的数据文件格式进行设
置。具体包括：
Charset、
data_format、
having lines、
separator null_value ‘’、
fields
terminated by ‘’、enclosed by ‘’、preserve blanks、length ‘’、
table_fields 、
autofill、
lines terminated by ‘’、
max_bad_records 、
datetime format 、
date format 、
timestamp format 、
time format、
parallel 、skip_bad_file 。
注意

transaction topic 类型的consumer 不允许两个consumer task 使用相同的
topic name+brokers 组合。

创建consumer 时，需要kafka 集群中topic 存在，且所写的broker：port
能正常提供服务。
示例
创建名为test1 的consumer task，从topic_1 消费数据：
Create kafka consumer test1 transaction topic topic_1
brokers ’10.10.10.10:9092,10.10.10.11:9092’;

GBase 8a MPP Cluster 产品手册
5 数据库管理指南
文档版本953（2022-09-15）
南大通用数据技术股份有限公司
1270