Login host 172.16.3.76 successfully.
*************
zookeeper 和kafka 服务的安装部署路径：/opt/wgh/autozkkfk
**********开始安装zookeeper 和kafka 集群**********
**********拷贝zookeeper 安装包到安装路径：/opt/wgh/autozkkfk 目录下,执行命令：
/bin/cp -a /opt/wgh/zkandkfkautoinstall/zookeeper-3.4.9.tar.gz /opt/wgh/autozkkfk
**********解压zookeeper 安装包到安装路径：/opt/wgh/autozkkfk 目录下,执行命令：tar
zxf /opt/wgh/autozkkfk/zookeeper-3.4.9.tar.gz -C /opt/wgh/autozkkfk
**********拷贝kafka 安装包到安装路径：/opt/wgh/autozkkfk 目录下,执行命令：/bin/cp
-a /opt/wgh/zkandkfkautoinstall/kafka_2.11-0.10.2.1.tgz /opt/wgh/autozkkfk
**********解压kafka 安装包到安装路径：/opt/wgh/autozkkfk 目录下,执行命令：tar zxf
/opt/wgh/autozkkfk/kafka_2.11-0.10.2.1.tgz -C /opt/wgh/autozkkfk
['zk_hostList', '172.16.3.76']
['srchost', '172.16.3.76']
['user', 'root']
['clientPort', '12181']
['zkinsideport', '12888:13888']
['host.name', '172.16.3.76']
['port', '19092']
['log.dirs', '/opt/wgh/autozkkfk/kfk-logs']
GBase RTSync 同步工具手册
- 200 -
南大通用数据技术股份有限公司
**********本地节点zookeeper 部署配置完成**********
**********zookeeper 的连接信息：172.16.3.76:12181
**********本地节点kafka 部署配置完成**********
***************开始远程服务器的zookeeper 节点安装部署*******************
copy zookeeper to remote hosts
修改zookeeper 的myid 文件：echo 1 >/opt/wgh/autozkkfk/zookeeper-3.4.9/data/myid
servierid========== ['echo -e "server.1=172.16.3.76:12888:13888"']
启动172.16.3.76 节点的zookeeper 服务：sh
/opt/wgh/autozkkfk/zookeeper-3.4.9/bin/zkServer.sh start
install zookeeper end
***************开始远程服务器的kafka 节点安装部署*******************
copy kafka to remote hosts
kafka 安装服务器列表：172.16.3.76
last log dirs==== ['\\/opt\\/wgh\\/autozkkfk\\/kfk-logs']
**********kafka 数据日志存放目录：['/opt/wgh/autozkkfk/kfk-logs']
修改172.16.3.76 kafka 节点server.properties 文件的host.name 参数：echo -e
"host.name=172.16.3.76" >>
/opt/wgh/autozkkfk/kafka_2.11-0.10.2.1/config/server.properties
修改172.16.3.76 kafka 节点的server.properties 文件的broker.id 参数：sed -i
's/broker.id=0/broker.id=0/g '
/opt/wgh/autozkkfk/kafka_2.11-0.10.2.1/config/server.properties
修改172.16.3.76 kafka 节点的server.properties 文件的log.dirs 参数：sed -i
's/\/tmp\/kafka-logs/\/opt\/wgh\/autozkkfk\/kfk-logs/g'
/opt/wgh/autozkkfk/kafka_2.11-0.10.2.1/config/server.properties
启动172.16.3.76 节点的kafka 服务：nohup sh
/opt/wgh/autozkkfk/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh
/opt/wgh/autozkkfk/kafka_2.11-0.10.2.1/config/server.properties &
install kafka end
*******删除zookeeper 安装包*******
*******删除kafka 安装包*******
zookeeper and kafka install finished!
至此，zookeeper 和kafka 服务自动化安装完成！
附录F Zookeeper 及Kafka 手动安装说明
Zookeeper 和Kafka 需要使用Java1.7 版本以上的Java 环境，
因此需要先
GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 201 -
确认是否已安装好Java 环境。
执行如下命令：
# java -version
查看Java 环境，
如果为OpenJDK 则需要安装Java 环境；
如果为Java SE1.7
以上环境则可以跳过安装Java 步骤。
1.
安装Java 环境
1)
使用root 用户登录到操作系统；
2)
在/usr 目录下建立Java 安装目录：
# cd /usr
# mkdir java
3)
将jdk 包复制到java 目录下
# cp /opt/jdk-8u102-linux-x64.tar.gz /usr/java
4)
解压jdk 到当前目录，得到文件夹jdk1.8.0_102
# tar –zxf jdk-8u102-linux-x64.tar.gz
5)
建立链接目录
# ln –s /usr/java/jdk1.8.0_102 /usr/jdk
6)
设置环境变量
# vim /etc/profile
在文件末尾添加如下内容：
JAVA_HOME=/usr/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.ja
GBase RTSync 同步工具手册
- 202 -
南大通用数据技术股份有限公司
r
export PATH JAVA_HOME CLASSPATH
7)
使环境变量生效
# source /etc/profile
8)
查看安装情况
# java -version
2.
ZooKeeper 集群安装
1)
将安装包解压到指定目录，
如192.168.5.21 的/opt/zookeeper-3.4.8
目录
2)
修改ZooKeeper 配置文件，执行如下命令：
# cd /opt/zookeeper-3.4.8
# vi conf/zoo.cfg
修改如下配置项：
a)
修改dataDir=/opt/zookeeper，设置zookeeper 数据存储路径
b)
设置规划zookeeper 集群，本例为两节点，在文件末尾增加如下
配置项（注意server.1 中的1 代表id，搭建集群时按顺序写下
去保证唯一）：
server.1=192.168.5.21:2888:3888
server.2=192.168.5.22:2888:3888
3)
创建dataDir 设置的目录，执行如下命令：
# mkdir /opt/zookeeper
GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 203 -
4)
在dataDir 设置的目录下增加myid 文件，
输入本机对应的server.id
中的id 值，执行如下命令：
# cd /opt/zookeeper/
# touch myid
# echo 1 >myid
5)
将完整的/opt/zookeeper-3.4.8 复制到另一机器节点，在本示例中
为192.168.5.22，然后增加myid 文件，执行如下命令：
# scp -r /opt/zookeeper-3.4.8/
root@192.168.5.22:/opt/zookeeper-3.4.8/
# ssh 192.168.5.22
# mkdir /opt/zookeeper
# cd /opt/zookeeper/
# touch myid
# echo 2 >myid
6)
分别在所有节点启动服务，执行如下命令：
# cd /opt/zookeeper-3.4.8/
# bin/zkServer.sh start
3.
kafka 集群安装
1)
将安装包解压到指定目录，如192.168.5.21 的
/opt/kafka_2.11-0.10.0.0 目录。
2)
修改Kafka 配置文件，执行如下命令：
# cd /opt/kafka_2.11-0.10.0.0
GBase RTSync 同步工具手册
- 204 -
南大通用数据技术股份有限公司
# vi config/server.properties
修改或增加如下配置项：
#设置kafka 节点id
broker.id=11
#设置kafka 所在节点ip，二选一即可。
host.name=192.168.5.11
#advertised.host.name=192.168.5.11
#设置服务端口，可以不修改，默认为9092
port=9092
#advertised.port=9092
#测试发现设置该项后可以不再设置其他相关host，port 选项。
listeners=PLAINTEXT://192.168.5.11:9092
#设置数据备份数，注意请根据数据完整性的重要性来设置，最大个数不能大于
kafka 集群节点数
default.replication.factor=3
#设置是否自动创建topic
auto.create.topics.enable=true
#设置消息体的最大大小，单位为字节，建议为600M
message.max.bytes=629145600
#设置replicas 每次获取数据的最大大小，建议为600M
replica.fetch.max.bytes=629145600
#设置kafka 数据保存路径
log.dirs=/data/kafka-logs
GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 205 -
#设置数据存储的最大时间，可以根据磁盘大小和数据流量设置，默认为168 小
时
log.retention.hours=168
#设置分区数，如果要求数据顺序性，请务必设置成1
num.partitions=1
#设置zookeeper 服务地址
zookeeper.connect=192.168.5.21:2181,192.168.5.22:2181
#设置kafka 连接zookeeper 超时时间
zookeeper.connection.timeout.ms=6000
3)
修改Kafka 启动脚本（在Kafka 启动脚本中配置了JVM 内存最大值，
如果应用场景中有可能出现大数据量事务时，有可能导致JVM 内存溢
出，因此建议将该值改为2-4G），执行如下命令：
# vi bin/kafka-server-start.sh
将如下内容中标红的Xmx1G 改为Xmx2G 或Xmx4G，具体情况视服务器
内存和应用场景而定。
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
4)
将/opt/kafka_2.11-0.10.0.0 目录复制到各个节点，在本示例中为