更新日期：2024年09月11日
安装GBase UP 产品，需要各个节点符合如下要求，否则集群将不能正确安装。
检查各节点操作系统版本保持一致
请检查各节点中操作系统版本的一致性，查看Linux 系统版本的命令如下：
# lsb_release -a
LSB
Version: :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:
printing-4.0-amd64:printing-4.0-noarch
Distributor ID: RedHatEnterpriseServer
Description: Red Hat Enterprise Linux Server release 6.5 (Santiago)
Release: 6.5
Codename: Santiago
检查各节点root 用户的密码保持一致
请检查各节点中root 用户的密码的一致性，请根据实际情况进行修改。
检查各节点gbase 用户的密码保持一致
请在所有节点中创建gbase 用户，密码gbase，并保证各节点gbase 用户的密码的一
致性。
检查各节点操作系统中软件包
请使用root 用户执行rpm -qa | grep 命令检查系统中是否安装了必须的软件包。
# rpm -qa | grep corosync
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 35
corosync-1.4.6-2.el6.x86_64
corosynclib-1.4.6-2.el6.x86_64
说明
GBase UP 运行时依赖的RPM 包列表保存在安装包根目录下的dependRpms 文件中。
在运行GBase UP 安装文件前，需要保证所有节点系统上有openssh-server、
openssh-clients 和pythonrpm 包，以及dependRpms 文件中列举的RPM 包。
说明
用户环境已有的corosync 和corosynclib rpm 包，用户可以手动卸载，或者由
安装脚本自动卸载；
用户可以选择自己安装pexpect、monit 和c3，或者由安装脚本自动安装。安装包内包
含rpm 版本可能与系统光盘中的rpm 版本不一致。如果用户对这些rpm 版本有要求，
建议由用户手动安装；
如果用户环境缺少dependRpms 文件中列举的rpm 包或者缺少pexpect、monit、c3、
corosync 和corosynclib 依赖的rpm 包，安装将会报错，用户需要补齐rpm 包后再重新
安装；
c3 需要依赖rsync 和perl rpm 包。
检查各节点的端口是否占用
需要检查各个节点上，gcluster，gnode，gcsyncserver，gcrecover 默认端口是否
被占用；
在root 用户下，使用lsof –i:prot_name 命令检查端口是否被占用，示例如下：
# lsof -i:5258
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
gclusterd 1791 gbase 14u IPv4 12511 0t0 TCP *:5258 (LISTEN)
说明
执行lsof –i:5258 命令后，
显示结果告诉用户PID=1719 的进程正在使用该端口号，
如果该端
口号与下表列出的端口号有冲突，则可以在root 用户下，使用kill -9 pid_value 命令来终止
发生冲突的进程。
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 36
GBase UP 各服务使用的默认端口如下表所示，
表 3-3 默认端口号一览表
组件或服务
默认端口号
是否可以修改
端口含义
gcluster
5258
是
Coordinator 集群节点对外提供服务
的端口
gnode
5050
是
Data 集群节点对外提供服务的端口
syncserver
5288
是
syncServer 服务端口
gcrecover
6268
是
Gcrecover 服务端口
如果用户的机器上安装的应用已经占用了下表中的端口号，
而用户又不想停用
目前已使用的应用，则用户安装完GBase UP 产品后，可以修改集群默认使用
的端口号，具体修改端口的方法：
• gcluster 端口5258 可以更改，在集群的所有节点上进行如下操作：
步骤1
使用gbase 用户修改$GCLUSTER_BASE/config/gbase_8a_gcluster.
cnf 文件中相关内容，具体修改参数如下：
[client]
port=5258
socket=/tmp/gcluster_5258.sock
[gbased]
socket=/tmp/gcluster_5258.sock
port=5258
步骤2
将5258 修改为新的端口号，具体方法如下：
# su - gbase
$ vi /opt/gcluster/config/gbase_8a_gcluster.cnf
[client]
port=5259
socket=/tmp/gcluster_5259.sock
...
[gbased]
...
socket=/tmp/gcluster_5259.sock
...
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 37
port=5259
...
步骤3
各个节点上的配置文件修改后，使用root 用户，重新启动
gcware 服务。
# su - gbase
$ su - root
密码：
# gcluster_service all restart
Signaling GCMETARECOVER (gcmetarecover) to terminate: [ OK ]
Waiting for gcmetarecover services to unload:[ OK ]
Signaling GCDATARECOVER (gcdatarecover) to terminate: [ OK ]
Waiting for gcdatarecover services to unload:[ OK ]
Signaling GCSYNC (gc_sync_server) to terminate: [ OK ]
Waiting for gc_sync_server services to unload:[ OK ]
Signaling GCLUSTERD to terminate: [ OK ]
Waiting for gclusterd services to unload:..[ OK ]
Signaling GBASED to terminate: [ OK ]
Waiting for gbased services to unload:.[ OK ]
Signaling GCWARE (gcware) to terminate: [ OK ]
Waiting for gcware services to unload:[ OK ]
Starting GCWARE (gcwexec): [ OK ]
Starting GBASED : [ OK ]
Starting GCLUSTERD : [ OK ]
Starting GCSYNC : [ OK ]
Starting GCMETARECOVER : [ OK ]
Starting GCDATARECOVER : [ OK ]
步骤4
使用root 用户，验证新端口设置成功。
$ su - root
密码：
# lsof -i:5259
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE
NAME
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 38
gclusterd 4780 gbase 14u IPv4 23640 0t0 TCP *:5259
(LISTEN)
• gnode 端口5050 可以更改 ，在集群的所有节点上进行如下操作
步骤1
使用gbase 用户修改$GCLUSTER_BASE/config/gbase_8a_gcluster.
cnf 文件中相关内容，具体修改的参数如下
[gbased]
...
gcluster_gnode_port = 5050
...
步骤2
将5050 修改为新的端口号，具体如下；
# su - gbase
$ vi /opt/gcluster/config/gbase_8a_gcluster.cnf
[gbased]
...
gcluster_gnode_port = 5051
...
步骤3
使用gbase 用户修改$GBASE_BASE/config/gbase_8a_gbase.cnf
文件中相关内容，具体修改的参数如下：
[client]
port=5050
socket=/tmp/gbase_8a_5050.sock
[gbased]
...
socket=/tmp/gbase_8a_5050.sock
...
port=5050
...
步骤4
下面需要将5050 修改为新的端口号，具体如下：
# su - gbase
$ vi /opt/gnode/config/gbase_8a_gbase.cnf
[client]
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 39
port=5051
socket=/tmp/gbase_8a_5051.sock
[gbased]
...
socket=/tmp/gbase_8a_5051.sock
...
port=5051
...
步骤5
各个节点上的配置文件修改后，使用root 用户，重新启动
gcware 服务。
$ su - root
密码：
# gcluster_service all restart
Signaling GCMETARECOVER (gcmetarecover) to terminate: [ OK ]
Waiting for gcmetarecover services to unload:[ OK ]
Signaling GCDATARECOVER (gcdatarecover) to terminate: [ OK ]
Waiting for gcdatarecover services to unload:[ OK ]
Signaling GCSYNC (gc_sync_server) to terminate: [ OK ]
Waiting for gc_sync_server services to unload:[ OK ]
Signaling GCLUSTERD to terminate: [ OK ]
Waiting for gclusterd services to unload:..[ OK ]
Signaling GBASED to terminate: [ OK ]
Waiting for gbased services to unload:.[ OK ]
Signaling GCWARE (gcware) to terminate: [ OK ]
Waiting for gcware services to unload:[ OK ]
Starting GCWARE (gcwexec): [ OK ]
Starting GBASED : [ OK ]
Starting GCLUSTERD : [ OK ]
Starting GCSYNC : [ OK ]
Starting GCMETARECOVER : [ OK ]
Starting GCDATARECOVER : [ OK ]
步骤6
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 40
使用root 用户，验证新端口设置成功。
$ su - root
密码：
# lsof -i:5051
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
gbased 3452 gbase 5u IPv4 17730 0t0 TCP *:ita-agent
(LISTEN)
• syncserver 端口5288 可以更改，在集群的所有节点上进行如下操作。
步骤1
使用gbase 用户在$GBASE_BASE/config 下创建synctool.conf 文
件
步骤2
在synctool.conf 增加如下内容：
# su - gbase
$ cd /opt/gnode/config/
$ vi synctool.conf
SERVER_PORT=5287
LOG_PATH=/opt/gcluster/log/gcluster
LOG_LEVEL=0
DISABLE=0
SERVER_PARALLEL=4
SYNC_LEVEL=1
说明
• SERVER_PORT 是端口号，默认5288，在此填写指定的端口；
• LOG_PATH 是log 的目录，默认是/opt/gcluster/log/gcluster；
• LOG_LEVEL 是log 级别，
取值0，
1，
2，
3，
4 分别代表ERROR，
WARNING，INTERFACE，INFO，DEBUG；
• SERVER_PARALLEL 是server 端读取I/O 并行线程数，
默认是4；
• SYNC_LEVEL 是否同步刷入磁盘，默认是1。
步骤3
修改完后，在各个节点机器中，使用root 用户，重新启动
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 41
gcware 服务生效。
$ su - root
密码：
# gcluster_services all start
Signaling GCMETARECOVER (gcmetarecover) to terminate: [ OK ]
Waiting for gcmetarecover services to unload:[ OK ]
Signaling GCDATARECOVER (gcdatarecover) to terminate: [ OK ]
Waiting for gcdatarecover services to unload:[ OK ]
Signaling GCSYNC (gc_sync_server) to terminate: [ OK ]
Waiting for gc_sync_server services to unload:[ OK ]
Signaling GCLUSTERD to terminate: [ OK ]
Waiting for gclusterd services to unload:..[ OK ]
Signaling GBASED to terminate: [ OK ]
Waiting for gbased services to unload:.[ OK ]
Signaling GCWARE (gcware) to terminate: [ OK ]
Waiting for gcware services to unload:[ OK ]
Starting GCWARE (gcwexec): [ OK ]
Starting GBASED : [ OK ]
Starting GCLUSTERD : [ OK ]
Starting GCSYNC : [ OK ]
Starting GCMETARECOVER : [ OK ]
Starting GCDATARECOVER : [ OK ]
步骤4
使用root 用户，验证新端口是否设置成功。
# lsof -i:5287
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE
NAME
gc_sync_s 3876 gbase 4u IPv4 20103 0t0 TCP *:5287 (LISTEN)
检查各节点防火墙状态
执行如下命令查看各节点的防火墙状态：
//显示如下信息表示防火墙是关闭状态：
# service iptables status
iptables: Firewall is not running.
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 42
# service ip6tables status
ip6tables: Firewall is not running.
//显示如下信息表示防火墙是开启状态：
# service iptables status
Table: nat
Chain PREROUTING (policy ACCEPT)
num target prot opt source destination
Chain POSTROUTING (policy ACCEPT)
num target prot opt source destination
1 MASQUERADE tcp -- 192.168.122.0/24 !192.168.122.0/24 masq ports:
1024-65535
2 MASQUERADE udp -- 192.168.122.0/24 !192.168.122.0/24 masq ports:
1024-65535
3 MASQUERADE all -- 192.168.122.0/24 !192.168.122.0/24
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination
Table: mangle
Chain PREROUTING (policy ACCEPT)
num target prot opt source destination
Chain INPUT (policy ACCEPT)
num target prot opt source destination
Chain FORWARD (policy ACCEPT)
num target prot opt source destination
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination
Chain POSTROUTING (policy ACCEPT)
num target prot opt source destination
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 43
1 CHECKSUM udp -- 0.0.0.0/0 0.0.0.0/0 udp dpt:68
CHECKSUM fill
Table: filter
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 ACCEPT udp -- 0.0.0.0/0 0.0.0.0/0 udp dpt:53
2 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:53
3 ACCEPT udp -- 0.0.0.0/0 0.0.0.0/0 udp dpt:67
4 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:67
Chain FORWARD (policy ACCEPT)
num target prot opt source destination
1 ACCEPT all -- 0.0.0.0/0 192.168.122.0/24 state
RELATED,ESTABLISHED
2 ACCEPT all -- 192.168.122.0/24 0.0.0.0/0
3 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0
4 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with
icmp-port-unreachable
5 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with
icmp-port-unreachable
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination
# service ip6tables status
Table: filter
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 ACCEPT all ::/0 ::/0 state
RELATED,ESTABLISHED
2 ACCEPT icmpv6 ::/0 ::/0
3 ACCEPT all ::/0 ::/0
4 ACCEPT tcp ::/0 ::/0 state NEW tcp
dpt:22
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 44
5 REJECT all ::/0 ::/0 reject-with
icmp6-adm-prohibited
Chain FORWARD (policy ACCEPT)
num target prot opt source destination
1 REJECT all ::/0 ::/0 reject-with
icmp6-adm-prohibited
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination
在各节点执行如下命令查看防火墙是否在开机时自动启动：
# chkconfig --list iptables
iptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭
# chkconfig --list ip6tables
ip6tables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭
建议用户关闭防火墙，关闭防火墙具体命令如下：
# service iptables stop
iptables: Flushing firewall rules: [ OK ]
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Unloading modules: [ OK ]
# chkconfig iptables off
说明：如果此命令执行无效，可执行如下命令：
# chkconfig iptables off --level 2345
# service ip6tables stop
ip6tables: Flushing firewall rules: [ OK ]
ip6tables: Setting chains to policy ACCEPT: filter [ OK ]
ip6tables: Unloading modules: [ OK ]
# chkconfig ip6tables off
说明：如果此命令执行无效，可执行如下命令：
# chkconfig ip6tables off --level 2345
如果防火墙为开启状态，则需要为GBase UP 开放如下表端口：
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 45
表 3-4 GBase UP 开放端口
服务名
默认端口
gcluster
5258
gnode
5050
syncserver
5288
gcware
5488
gcrecover
6268
说明
为GBase UP 开放端口，需要在每个节点上执行以下命令：
设置默认规则。
# iptables -A INPUT -j DROP
# iptables -A FORWARD -j ACCEPT
开放gcluster 端口。
# iptables -I INPUT -p tcp --dport 5258 -j ACCEPT
# iptables -I OUTPUT -p tcp --dport 5258 -j ACCEPT
# iptables -I INPUT -p tcp --sport 5258 -j ACCEPT
# iptables -I OUTPUT -p tcp --sport 5258 -j ACCEPT
开放gnode 端口。
# iptables -I INPUT -p tcp --dport 5050 -j ACCEPT
# iptables -I OUTPUT -p tcp --dport 5050 -j ACCEPT
# iptables -I INPUT -p tcp --sport 5050 -j ACCEPT
# iptables -I OUTPUT -p tcp --sport 5050 -j ACCEPT
开放syncserver 端口。
# iptables -I INPUT -p tcp --dport 5288 -j ACCEPT
# iptables -I OUTPUT -p tcp --dport 5288 -j ACCEPT
# iptables -I INPUT -p tcp --sport 5288 -j ACCEPT
# iptables -I OUTPUT -p tcp --sport 5288 -j ACCEPT
开放gcware 组播通信端口。
# iptables -I INPUT -p udp --dport 5488 -j ACCEPT
# iptables -I OUTPUT -p udp --dport 5488 -j ACCEPT
在存放数据分发服务端程序(dispserver)的服务器上开放dispserver 端口。
# iptables -I INPUT -p tcp --dport 6666 -j ACCEPT
# iptables -I OUTPUT -p tcp --dport 6666 -j ACCEPT
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 46
# iptables -I INPUT -p tcp --sport 6666 -j ACCEPT
# iptables -I OUTPUT -p tcp --sport 6666 -j ACCEPT
注意
如果端口号因被占用发生变更，
请同步修改以上命令中的sport 或dport
对应的参数值。
检查各节点SELINUX 状态
要求各节点禁用SELINUX，禁用SELINUX 的方法如下（需重启系统）。
修改/etc/sysconfig/selinux 文件，将SELINUX 设置为disabled：
# vi /etc/sysconfig/selinux
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
重启操作系统后，可以使用如下方法确认SELINUX 是否被禁用：
# sestatus
SELinux status: disabled
检查各节点的系统时间保持一致
要求各节点统一系统时间，推荐使用ntp 自动同步各节点时间。
以192.168.181.35 时钟同步服务器为例说明如何同步客户端各节点时间，以下操作
在root 用户下进行。
步骤1
检查是否安装ntp 软件包（多数情况下操作系统已经安装好ntp 软件包）。
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 47
# rpm -qa | grep ntp
ntpdate-4.2.4p8-2.el6.x86_64
ntp-4.2.4p8-2.el6.x86_64
步骤2
修改/etc/ntp.conf 文件，注释掉如下内容
# vi /etc/ntp.conf
……
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
……
添加如下内容，设定同步的IP 地址
server 192.168.181.35
……
# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available.
还需要去掉下面两行行首的注释符号#，下面为去掉后的语句。
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
步骤3
启动ntpd 服务。
# service ntpd start
正在启动 ntpd：[确定]
# chkconfig --level 345 ntpd on
说明
使用上面的2 条命令后，首先第一条命令启动ntpd 服务，然后第二条命令设定开机后自动
运行。
# service ntpd start
关闭 ntpd：[确定]
启动 ntpd：[确定]
步骤4
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 48
查看nptd 的状态。
# ntpstat
unsynchronised
time server re-starting
polling server every 64 s
步骤5
客户端校准本地时钟的操作。
客户端机器不能运行ntpd 服务时，
可以使用如下操作，
首先停止客户端的ntpd
服务，然后设定开机后也不会自动运行。
# service ntpd stop
关闭 ntpd：[确定]
# chkconfig ntpd off
当客户端运行ntpdate 192.168.181.35 后，出现下面的提示信息时，是由于通常
server 端的ntpd 服务刚刚运行。通常需要等待3-5 分钟后才能生效。
# ntpdate 192.168.181.35
12 Nov 11:07:28 ntpdate[1809]: no server suitable for synchronization found
等待5 分钟后，再次运行同步时钟命令，显示结果正常。具体显示如下信息：
# ntpdate 192.168.181.35
12 Nov 09:50:44 ntpdate[2500]: step time server 192.168.181.35 offset -2392.295293 sec
至此，经过上述步骤，各节点就会和192.168.181.35 进行时钟同步了。
检查各节点ssh 服务开启状态
要求各节点的ssh 服务是正常开启状态。确认各节点ssh 服务是否正常开启的方法
为，在root 用户下执行chkconfig sshd on 命令，这样，每次开机后，ssh 服务会自
动加载运行。
# chkconfig sshd on
说明
在root 用户下执行chkconfig --list sshd 命令，查看是否将ssh 服务开启，加粗显示为ON，代
表ssh 服务开启：
# chkconfig --list sshd
GBase UP 产品手册 3 软件安装
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 49
sshd 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
各节点修改操作系统参数
【涉及机器】：所有服务器节点系统安装前，请您使用root 用户进行如下参数的修
改，重启后生效。