返回首页

gbase数据、南大通用产品文档:GBase8a

更新日期:2024年09月11日

准备安装
参照产品手册中GBase 8a 集群的安装步骤,在正式安装前还需进行:
 在每个服务器上创建gbase 用户
useradd gbase
passwd gbase
 将安装文件上传到其中一个服务器并解压
tar
xjf
GBase8a_MPP_Cluster-NoLicense-9.5.3.17-redhat7.3-
x86_64.tar.bz2
chown –R gbase:gbase gcinstall





南大通用数据技术股份有限公司
8/44
 安装包解压后,
将SetSysEnv.py 文件scp 到所有服务器,
在所有服务器
root 用户执行SetSysEnv.py 进行环境变量配置:
scp SetSysEnv.py root@192.168.146.21:/opt
python SetSysEnv.py --installPrefix=/opt --dbaUser=gbase
 调整/opt 安装路径的权限,使gbase 系统用户能够写入文件
drwxr-x---. 6 gbase gbase 157 1 月 28 18:59 opt
 修改安装配置文件demo.options,如下:

库级别增量同步要求源数据库与目标数据库下的所有表的表名及列名完全
一致。如果有部分表不需要同步,可以使用排除表功能排除掉这些表。
在目标库为GBase 8t 数据库时,同步工具支持断点续传。为了保证断点续
传功能,同步工具在目标库中创建了table_lsn 表用于保存lsn 信息。该表会
导致源库与目标库中的表个数不一致,因此,在库级同步时,需要目标端配置

GBase RTSync 同步工具手册
- 88 -
南大通用数据技术股份有限公司
排除table_lsn 表。如果不需要排除表,可以删除配置文件中的tables 标签。
下面按照步骤详细介绍:
修改任务文件config_task.xml,该文件在读端,写端,管理端各有一份,
如果同步工具安装后再修改该文件请确保三处配置文件一致。


id="server1"
mqType="kafka" queueName="orato8tMQ" dataRecoveryMode="auto"
isHighAvailable="false">
httpPort="8080" isTableHotPatch="true"/>
readParseAdapter="adapter" user="root" password="root" queueSize="10000"
openMonitor="true" monitorInterval="300" rpcPort="9191" sshPort="22"/>
writeDataAdapter="adapter" user="root" password="root"
errorishandle="true" sendDataBySocket="false" sshPort="22" rpcPort="9191"
monitorInterval="300"/>

id="ora_8t_5.1_5.2">

charset="utf8"
type="ORACLE"
startLSN="0"
fetchSize="500"
oracleScnStep="50000"
timestampWithFraction="false"
maxRecordsPerRead="200"
maxSizeOfPerRecord="1024"
timeOut="1"
driver="oracle.jdbc.driver.OracleDriver"
url="jdbc:oracle:thin:test/test@//192.168.5.6:1521/orcl"
user="test"

GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 89 -
password="test"
catalog="TEST">

charset="UTF8"
type="GBASE8T"
commitSize="100"
queueSize="20000"
user="informix"
password="1"
driver=" com.informix.jdbc.IfxDriver "
catalog="testdb"
timeOut="2"
url="jdbc:informix-sqli://192.168.5.4:31267/testdb:informixserver=ol
_informix1210"
>




sourcePkColName="" targetTableName="" targetPkColName="" />

sourcePkColName="" targetTableName="t2" targetPkColName="" />

sourcePkColName="" targetTableName="table_lsn" targetPkColName="" />






修改消息队列配置文件:config_kafka_orato8tMQ.properties。

GBase RTSync 同步工具手册
- 90 -
南大通用数据技术股份有限公司
#kafka 主题
topic.name=orato8t
#producer conf
#kafka集群ip及服务端口
bootstrap.servers=192.168.5.11:9092,192.168.5.12:9092
#批量发送数据到kafka的批次数
kafka.batch.commit.count=400
#批量发送数据到kafka等待的超时时间,单位毫秒
kafka.batch.commit.time=100
#kafka 发送数据到kafka异常重发的次数,超过该次数仍然未成功同步工具将退出服务
kafka.resend.max.retries=3
#kafka 接收数据的应答机制。
0代表立即返回,
无论数据是否成功写入kafka;1代表leader
节点成功写入磁盘后才返回结果;all代表所有节点都要写入磁盘才返回结果。根据数据安
全性要求可以实际配置。
kafka.acks=all
#kafka生产者其他必要参数配置,参数信息为标准的kafka生产者参数。
kafka.producer.paramers=request.timeout.ms=30000;metadata.fetch.timeout.
ms=30000
#consumer conf
#kafka所使用zookeeper信息
zookeeper.connect=192.168.5.21:2181,192.168.5.22:2181,192.168.5.23:2181
#kafka消费者组名称
group.id=test
#自动提交时间间隔,一般不用修改
auto.commit.interval.ms=1000
#zookeeper follower能落后leader多久还被认为是活着的
zookeeper.sync.time.ms=2000
#zookeeper session超时时间,如果这段时间没有收到zk的心跳,则认为kafka服务异常
zookeeper.session.timeout.ms=4000
#发送数据到kafka单条数据的最大值,单位字节,超过该大小经进行分包发送
send.data.max.size=1000000
#从kafka获取单条数据的最大值,单位字节,该值应该大于等于send.data.max.size
fetch.message.max.bytes=1000000
完成后,既可启动同步工具。使用root 用户登录192.168.5.3,执行如下
命令启动同步工具组件:

GBase RTSync 同步工具手册
南大通用数据技术股份有限公司
- 91 -
# cd /opt/RTSync /
# sh RTSyncManagerServer.sh start
启动后,同步工具将开始同步数据工作。
可以使用如下命令监控同步工具运行状况。
# tail -f logs/sync.log

编辑函数过程
使用“编辑函数过程”功能,您可以查看该函数过程的定义信息。
在“数据库导航”中,右键单击Schema 节点下的函数过程节点,选择菜单
中的“编辑函数过程”菜单项,如下图所示:

GBaseDataStudio 管理工具手册
- 216 -
南大通用数据技术股份有限公司
图5- 587 查看函数过程菜单项
选择“编辑函数过程”菜单项后,管理器会打开函数过程定义信息,如下
图所示:
图5- 588 函数过程定义信息

GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 217 -
在如上编辑界面的“源”编辑框中编辑函数过程定义信息,编辑完成后点
击工具栏中的“保存”按钮或者点击“Ctrl+S”来保存,弹出保存确认界面如
下图所示:
图5- 589 新建函数过程编辑
点击“保存”按钮,您可以保存这次新建函数过程;点击“复制”按钮,
您可以将新建函数过程的SQL 语句拷贝到粘贴板;点击“取消”按钮,您可以
取消本次保存。保存后将刷新函数过程内容。