gbase数据、南大通用产品文档：GBase8a数据加载

GBase
8a
MPP
Cluster 中，集群加载功能直接集成在GBase
8a
MPP
Cluster
内部，不需要额外部署外部加载工具。
数据加载具备如下一些特性和优点：
1）与集群高度集成；
2）面向用户的SQL 接口方式更符合用户的使用习惯；
3）
支持单表多数据源并行加载，
支持多加载机对单表的并行加载，
最大化
提升加载性能；
4）支持从通用数据服务器拉取数据，支持
ftp/sftp/hdfs/Kafka/http/https 等多种文件传输协议；
5）支持普通文本、gzip 压缩、snappy 压缩、lzo 压缩等多种格式数据文
件；
6）支持普通文本、定长文本、宽松模式的加载；
7）支持用户自定义列分割符、行分隔符和日期时间格式；
8）支持错误数据溯源功能，可以准确定位错误数据在源文件中的位置；
9）加载性能可以随着集群规模的扩展而持续提升。

1.
支持的类型
见表 5-141 文件类型
文件类
型
URI 标识
说明
Txt
Content-Type:text/plain

Pdf
Content-Type:application/pdf

Word
Content-Type:application/msword
只支持doc，不支持docx。

Zip
Content-Type:application/zip
只会读取第一个文件，
只能
txt 类型。
Xml
Content-Type:application/xml

2.
支持ftp 文件。
举例如下（包括有密码和无密码方式）：
INSERT INTO fturi VALUES
('ftp://ldy:liang999@127.0.0.1/test/a01.txt\r\nContent-Type:text/plain\r\n
\r\n');
INSERT INTO fturi VALUES
('ftp://192.168.159.220/pub/a02.txt\r\nContent-Type:text/plain\r\n\r\n');
3.
支持http 文件。
举例如下（无密码）：
INSERT INTO fturi VALUES
('http://192.168.159.220/a03.txt\r\nContent-Type:text/plain\r\n\r\n');
4.
URI 文件路径的转义字符
URI 路径采用标准格式，当路径含有特殊字符时需要转义。
表 5-142 标准格式
序号
字符（转义前，原始）
转义后字符
1
" "
"%20"

GBase UP 产品手册 5 数据库管理指南
文档版本04（2021-04-21） 南大通用数据技术股份有限公司 937
2
"!"
"%21"
3
"\"
"%22"
4
"#"
"%23"
5
"%"
"%25"
6
":"
"%3A"
7
";"
"%3B"
8
"<"
"%3C"
9
"="
"%3D"
10
">"
"%3E"
11
"?"
"%3F"
12
"@"
"%40"
13
"\\"
"%5C"
14
"|"
"%7C"

GBase 8s 数据库服务器产品提供了 Global Language Support （GLS）功能部件。除了 U.S.
ASCII 英语之外，GLS 允许您在其它语言环境中工作并在 SQL 数据和标识中使用非
ASCII 字符。可以使用 GLS 功能来与特定语言环境定制保持一致。语言环境文件包括特
定于文化的信息。如货币和日期格式以及整理顺序。