返回首页

gbase数据、南大通用产品文档:GBase8agbase_loader_check_charset

更新日期:2024年09月11日

功能
用于设置是否打开字符集检查功能,该参数仅对加载有效,对其他SQL 无影响。
表6- 71 参数值范围说明表
默认值
最小值
最大值
0
0
1

GBase
8a
MPP
Cluster 中,集群加载功能直接集成在GBase
8a
MPP
Cluster
内部,不需要额外部署外部加载工具。
数据加载具备如下一些特性和优点:
1)与集群高度集成;
2)面向用户的SQL 接口方式更符合用户的使用习惯;
3)
支持单表多数据源并行加载,
支持多加载机对单表的并行加载,
最大化
提升加载性能;
4)支持从通用数据服务器拉取数据,支持
ftp/sftp/hdfs/Kafka/http/https 等多种文件传输协议;
5)支持普通文本、gzip 压缩、snappy 压缩、lzo 压缩等多种格式数据文
件;
6)支持普通文本、定长文本、宽松模式的加载;
7)支持用户自定义列分割符、行分隔符和日期时间格式;
8)支持错误数据溯源功能,可以准确定位错误数据在源文件中的位置;
9)加载性能可以随着集群规模的扩展而持续提升。

------------------------------------------------------------------------------------------------------
|primary
|
1
|
2
|
3
|
4
|
5
|
6
|
|segments
|
7
|
8
|
9
|
10
|
11
|
12
|
------------------------------------------------------------------------------------------------------
|duplicate |
6
|
1
|
2
|
3
|

GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-04-10)
南大通用数据技术股份有限公司
169
4
|
5
|
|segments 1|
12
|
7
|
8
|
9
|
10
|
11
|
------------------------------------------------------------------------------------------------------
|duplicate |
2
|
3
|
4
|
5
|
6
|
1
|
|segments 2|
8
|
9
|
10
|
11
|
12
|
7
|
=====================================================================
=================================
示例3:自定义分片分布模式配置。
生成distribution 的gcChangeInfo.xml 文件,如下所示:




distribution 分片配置信息文件distribution.xml,如下所示:









GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-04-10)
南大通用数据技术股份有限公司
170












自定义分片分布模式生成distribution 如下所示:
$ gcadmin distribution gcChangeInfo.xml
gcadmin generate distribution ...
gcadmin generate distribution successful
生成distribution后,
可使用gcadmin showdistribution命令查看生成的distribution
信息,如下所示:
$ gcadmin showdistribution
Distribution ID: 3 | State: new | Total segment num: 2
Primary Segment Node IP
Segment ID
Duplicate Segment node IP

GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-04-10)
南大通用数据技术股份有限公司
171
=====================================================================
===============
|