更新日期：2024年09月11日
在/opt/gnode/config/gbase_8a_gbase.cnf 配置文件中，
可以查看GNode 的基本配
置。
Kafka 部署参考
概述
本节描述 Goldengate_Kafka 同步方案中，kafka 集群的部署。
说明
本章节中用3 节点192.168.6.178-180 为例
环境准备
kafka_2.11-0.10.1.0（2.11 指scala 版本号，0.10.1.0 是Kafka 的版本号）；
OS：RedHat 6.2；
JDK：jdk-7u80。
软件安装
java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64.rpm；
java-1.7.0-openjdk-devel-1.7.0.65-2.5.1.2.el6_5.x86_64.rpm；
kafka_2.11-0.10.1.0.tgz。
JDK 配置
安装java1.7.0
•
java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64.rpm
•
java-1.7.0-openjdk-devel-1.7.0.65-2.5.1.2.el6_5.x86_64.rpm
相关rpm 依赖
•
libjpeg-6b-46.el6.x86_64
GBase UP 产品手册 7 附录
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 1336
•
libjpeg-devel-6b-46.el6.x86_64
Kafka 安装
步骤1
解压kafka_2.11-0.10.1.0.tgz
步骤2
配置系统环境变量（以~/.bash_profile 为例）
配置kafka 路径
export kafka_home=/usr/local/kafka
步骤3
配置kafka 运行时的jvm 环境。
export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G -Xmn2G -XX:PermSize=64m -XX:MaxPer
mSize=128m -XX:SurvivorRatio=6 -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMS
InitiatingOccupancyOnly"
说明
应根据机器性能进行调整，Xms：初始内存，Xmx：最大内存，Xmn：young generation 内
存，配置过大或过小都会导致内存问题
配置Kafka 中 Zookeeper 集群
步骤1
配置kafka 中的zookeeper（三个节点按照相同的配置）
mkdir -p $kafka_home/var/zookeeper
[root@V173 conf]# vim $kafka_home/config/zookeeper.properties （注意：这是Kafka 的config 目
录中的zookeeper.properties 文件）
dataDir=/usr/local/kafka/zookeeper
dataLogDir=/usr/local/kafka/var/zookeeper
clientPort=2181
maxClientCnxns=100
GBase UP 产品手册 7 附录
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 1337
tickTime=2000
initLimit=10
syncLimit=5
server.1=192.168.6.178:2888:3888
server.2=192.168.6.179:2888:3888
server.3=192.168.6.180:2888:3888
步骤2
在dataDir 指定的路径上创建myid 文件。
mkdir -p $kafka_home/zookeeper
cd $kafka_home/zookeeper
[root@v178 zookeeper]# vim myid
1 （分配zookeeper server 的id 号，分别设置为1,2,3）
配置Kafka 集群
步骤1
创建数据存储路径，配置三节点的kafka。
mkdir -p $kafka_home/logs
mkdir -p $kafka_home/var/kafka-logs
[root@V173 conf]# vim $kafka_home/config/server.properties
broker.id=0 （每个节点要有不同的broker id，分别设置为0,1,2）
delete.topic.enable=true （允许管理人员删除topic）
auto.create.topics.enable=false （手动控制topic 的创建，否则goldengate 可以自动创建topic）
listeners=PLAINTEXT://192.168.6.178:9092 （配置为本节点的ip）
log.dirs=/usr/local/kafka/var/kafka-logs
zookeeper.connect=192.168.6.178:2181, 192.168.6.179:2181, 192.168.6.180:2181
（配置所有zookeeper 服务器的ip，注意逗号之间不要有空格）
步骤2
对于kafka 的server.properties 中，log 存储数据的相关设置（此部分需要按现场需
求针对性设置）。
log.retention.hours=168 （多少个小时后，log 数据会被删除，优先级低于minutes 和ms）
GBase UP 产品手册 7 附录
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 1338
#log.retention.minutes=60 （多少分钟后，log 数据会被删除，优先级低于ms）
#log.retention.ms=6000 （多少毫秒后，log 数据会被删除，如果被配置则优先使用）
log.retention.bytes=-1 （log 文件达到多少字节后，数据会被删除。设置为-1 则没有大小
限制）
log.segment.bytes=1073741824 （每个log 分片的大小，超过后会新建分片）
log.roll.ms=60000 （间隔多久新创建一个数据文件）
log.retention.check.interval.ms=300000 （多长时间轮询检查是否会删除log）
启动
启动服务
步骤1
先启动三个节点的zookeeper。
$kafka_home/bin/zookeeper-server-start.sh $kafka_home/config/zookeeper.properties >$kafka_
home/logs/zk.log &
步骤2
再启动三个节点的kafka。
$kafka_home/bin/kafka-server-start.sh $kafka_home/config/server.properties >$kafka_ho
me/logs/kk.log &
如下表示启动成功。
[root@V173 kafka]# jps -m
2930 QuorumPeerMain /usr/local/kafka/config/zookeeper.properties
5188 Kafka /usr/local/kafka/config/server.properties
5702 Jps -m
测试Kafka
步骤1
创建kafka topic（其中--replication-factor 是配置互备节点数，设置为3 与集群节点
数一致）
[root@v170 kafka]# $kafka_home/bin/kafka-topics.sh --create --partitions 1 --replication-factor 3
GBase UP 产品手册 7 附录
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 1339
--zookeeper 192.168.6.178:2181,192.168.6.179:2181,192.168.6.180:2181 --topic test1
Created topic "test1".
步骤2
检查topic。
[root@V173 software]# $kafka_home/bin/kafka-topics.sh --list --zookeeper