返回首页

gbase数据、南大通用产品文档:GBase8a

更新日期:2024年09月11日

Load data 数据中含有longtext 报内存不足
问题现象
客户加载
load data 数据文件到集群表(表中一列为longtext 类型),加载
数据失败,报内存不足。
数据文件:23MB,有1180 行记录
将所有节点gncli (gbase> release cache; ) 后,反复加载4 次(100 行/次)

第五次时报错
解决方法:

功能
Group by 算子数据hash 划分时采样,
采样结果的缓存有效时间,
超时之后重新采
样。

GBase 8a MPP Cluster 产品手册
6 附录
文档版本953(2022-04-10)
南大通用数据技术股份有限公司
1602
取值范围3600 到86400,单位:秒。
默认值为86400。

集群监控工具提供可信的监控数据,及时的报警功能,直观的趋势展示,
可靠的数据分布视图和数据库连接线程的状态展示。
集群监控工具主要监控单个或多个GBase
8a
MPP
Cluster 部署环境中,集
群节点Server 的运行状态,资源利用情况、网络通讯情况等信息,可使用户
对集群环境下的Server 的运行状态及其系统资源进行有效地监视,能够为用
户监控集群及其集群点的运行情况提供可靠的依据。



GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司

- 27 -
gcadmin 工具
GBase 8a MPP Cluster 为管理员提供了命令行工具gcadmin。该工具能实
现Distribution 的增加、移除,查看集群状态等管理功能。具体功能如下:
1) 集群状态信息查询,可以查询节点IP、节点状态、集群服务模式等信
息;
2) 数据分布信息查询,可查询节点主分片和副分片的位置、总分片数量
等信息;
3) 集群锁信息查询,
可以查询锁的名称、
节点IP、
锁的创建时间等信息;

4) 节点异常状态信息查询,可以查询所有的错误日志,某个表分片在某
个节点上的错误日志等信息。
DB-Link 与透明网关
DB-Link:GBase 8a MPP Cluster 内部提供的远程数据库链接功能,通过
与透明网关服务的协同工作,实现透明访问异地集群中的数据库的数据表或者
远程数据库的数据表。支持passthrough 直通模式,即GBase 8a MPP Cluster
不对指定的SQL 做语法解析,请求透明网关直接推送指定SQL 到远端数据库执
行相关操作。
透明网关服务:一个独立运行的进程,负责连接GBase 8a MPP Cluster
之外的其他数据库(通过标准JDBC 接口,也可以支持GBase 8a MPP Cluster
间的远程访问),并完成数据抽取和数据推送的工作。
通过DB-Link 功能,客户可以实现:
1)
GBase 8a MPP Cluster 的应用程序可以访问一个外部数据源,外
部数据源是GBase
8a
MPP
Cluster。可以查询外部数据源的数据,
也可以将外部数据源的数据与本地集群中的数据进行关联运算;
2)
远端数据源是GBase 8a MPP Cluster,并且网络通信没有限制的

GBase 8a MPP Cluster 技术白皮书


- 28 -

南大通用数据技术股份有限公司
情况下,可以对这种场景进行定向优化,以提升性能;
集群间同步工具Rsynctool
集群间同步工具是基于底层二进制文件同步的工具,其同步的对象是库内
的数据,
通过解析、
比对二进制文件的变化进行同步;
包含增量同步和全量同
步。该工具具有如下功能点:
1、支持增量和全量两种数据同步方式;
2、支持落盘数据的回读校验;
3、支持先同步主分片,主分片成功后再同步备份分片;
4、集群间同步支持使用普通数据库用户进行同步.






GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司

- 29 -
7 GBase 8a MPP Cluster 开发接口
集群接口驱动可以有效实现对上层应用请求的负载进行均衡(应用调用接
口驱动的连接串中配置多个集群管理节点的IP,
接口驱动的内部进行连接的负
载均衡)。应用层请求响应节点完成SQL 解析并生成执行计划,协调集群相关
节点并发参与计算和处理,极大地提高了整个集群节点的并发度,充分发挥了
集群性能。
GBase 8a MPP Cluster ODBC
GBase 8a MPP Cluster ODBC 是GBase 8a MPP Cluster 的ODBC 驱动程序,
它提供了访问 GBase
8a
MPP
Cluster 的所有ODBC 功能。GBase
8a
MPP
Cluster
ODBC 支持ODBC 3.5X 一级规范 (全部API + 2 级特性)。用户可以通过ODBC
数据源管理器调用GBase
8a
MPP
Cluster
ODBC 驱动访问GBase
8a
MPP
Cluster
数据库或者直接调用 GBase 8a MPP Cluster ODBC 驱动访问 GBase 8a MPP
Cluster ,另外通过可视化编程工具如 C++
Builder、 Visual
Studio 等也可
以利用 GBase 8a MPP Cluster ODBC 访问。GBase 8a MPP Cluster ODBC 支持
所有 GBase 8a MPP Cluster 支持的 Windows、Linux 、AIX 平台。
ODBC 驱动管理器是管理 ODBC 应用和驱动程序之间的通信的库。
它的主要
功能包括:
1) 解析数据源名字(DSN)
2) 装载和卸载驱动程序
3) 处理 ODBC 函数调用或传递它们到驱动程序
GBase 8a MPP Cluster JDBC
GBase 8a MPP Cluster JDBC 是一种兼容JDBC 规范3.0、4.0 (类型4)
的驱动,这意味着它是符合JDBC