返回首页

gbase数据、南大通用产品文档:GBase8a使用SKIP_BAD_FILE 加载数据文件

更新日期:2024年09月11日

示例
建表语句:
CREATE TABLE "test_3" (
"column_1" int(11) DEFAULT NULL,
"column_2" varchar(10) DEFAULT NULL,
"column_3" varchar(20)
DEFAULT NULL);
数据文件,1.txt 内容与2.txt 完全一致:
-rw-r--r-- 1 root root
58 Nov 13 09:13 1.txt
--w------- 1 root root
58 Nov 13 09:21 2.txt
指定skip_bad_file 为0:
gbase>LOAD DATA INFILE 'http://192.168.153.32/*.txt' INTO TABLE test_3
FIELDS TERMINATED BY '|' SKIP_BAD_FILE 0;
ERROR 1733 (HY000): (GBA-01EX-700) Gbase general error: Expanding
wildcard operation failed with error - I/O operation on http://192.168.153.32/2.txt
failed with error - Access denied to remote resource, HTTP/1.1 403 Forbidden, File
name http://192.168.153.32/2.txt uri : http://192.168.153.32/%2a.txt.
查询入库数据:
gbase> SELECT * FROM test_3;
Empty set (Elapsed: 00:00:00.00)
指定skip_bad_file 为1:
gbase> LOAD DATA INFILE 'http://192.168.153.32/*.txt' INTO TABLE
test_3 FIELDS TERMINATED BY '|' SKIP_BAD_FILE 1;
Query OK, 3 rows affected (Elapsed: 00:00:00.58)
Task 42 finished, Loaded 3 records, Skipped 0 records, Ignored 1 files
查询入库数据:

GBase 8a MPP Cluster 产品手册
5 数据库管理指南
文档版本953(2022-09-15)
南大通用数据技术股份有限公司
1209
gbase> SELECT * FROM test_3;
+----------+----------+----------+
| column_1 | column_2 | column_3 |
+----------+----------+----------+
|
43452 | sisoekso | mozoa,a
|
|
3890 | lqps,rpd | gg
|
|
59432 | gg
| laqpqpd
|
+----------+----------+----------+
3 rows in set (Elapsed: 00:00:00.01)

如果在原始主服务器发生故障后,
SD 集群中的辅助服务器成为主服务器,
那么可以使用脚
本来重新建立原始主服务器,然后将当前主服务器转换回辅助服务器。
在该示例中,主服务器 srv_pri 故障转移至 SD 辅助服务器 srv_sds_sec。此时,主服务器
是 srv_sds_sec,并且集群中的所有辅助服务器现在都指向 srv_sds_sec。要将集群复原
至 srv_pri 执行故障转移之前的状态,请遵循以下步骤:
1. 如果必要,请在 srv_pri 的 onconfig 文件中设置以下参数:
SDS_ENABLE 1

GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 493 -
SDS_PAGING ,
SDS_TEMPDBS ,,,,
dbsname 值必须唯一。此外,dbsname 必须在所有现有的数据库空间、BLOB 空间
和智能大对象空间空间中唯一,包括从主服务器继承的临时空间(可能已禁用)。
如果有多个 SD 辅助服务器,dbsname 值对于每个服务器必须唯一,且不得与其他
任何 SD 辅助服务器或主服务器共享。请参阅设置共享磁盘辅助服务器,以获取有
关设置这些参数的信息。
2. 通过在 srv_pri 上运行 oninit 命令,将 srv_pri 初始化为 SD 辅助服务器。
3. 手动对 srv_pri 执行故障转移以便使其成为主服务器:
onmode –d make primary srv_pri
以上命令从集群中除去 srv_sds_sec,并使 srv_pri 成为主服务器。
4. 通过在 srv_sds_sec 上运行 oninit 命令,将 srv_sds_sec 复原为 SD 辅助服务器。

























GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 494 -
7 分布式数据

具体升级步骤如下:
步骤1
确认所有集群节点的数据库服务已经停止。
步骤2
解压V9.5.X.X 集群安装包,并切换到安装包解压后的gcinstall 目录下。
步骤3
使用root 用户在集群各个节点执行gbase 用户的环境部署脚本:
# cd gcinstall

GBase 8a MPP Cluster 产品手册
3 集群安装升级与卸载
文档版本953(2022-04-10)
南大通用数据技术股份有限公司
111
# scp SetSysEnv.py
gbase@集群节点IP:/opt/
# ./SetSysEnv.py --installPrefix=/opt --dbaUser=gbase
SetSysEnv 语法和参数说明请参考3.2.2 初始安装章节。
在gcinstall 目录下找到并修改demo.options 配置文件。demo.options 文件参数值与
原集群信息保持一致。gcwareHost 必须填写原集群的gcware 节点ip(8.6.2.X 集群
中gcware 与coordinator 节点是同一节点),gcwareHostNodeID 在IP4 下可以不填
写,如果是IPV6,nodeid 可以到$GCWARE_BASE/config 下gcware.conf 文件中获
取:
totem 下的nodeid 是gcwareHostNodeID,
gcware 下的是coordinateHostNodeID。
#su - gbase
$ vi /opt/gcinstall/demo.options
installPrefix= /opt
coordinateHost = 192.168.146.20,192.168.146.21,192.168.146.22
coordinateHostNodeID = 20,21,22
dataHost =