导出到HADOOP 集群说明
在执行导出语句前,对支持高可用的HDFS ,需要首先设置
gbase_hdfs_namenodes='acitve_nn, standby_nn',指定HDFS 的高可用NameNode
主机信息。(HDFS 通常由两个NameNode 和若干DataNode 组成,其中一个
NameNode 处于Active 状态,另外一个处于Standby 状态。)
如下示例:
gbase> SET gbase_hdfs_namenodes="192.168.10.1,192.168.10.2";
然后用户输入导出语句,指定导出HDFS 文件,在URL 中指定了正确的HDFS
的NameNode 主机名(或IP 地址)和端口号。
gbase> SELECT * FROM test.t INTO OUTFILE
'hdp://hadoop@192.168.10.1:50070/export/test.tbl' OUTFILEMODE BY
HDFS;
在执行导出语句时,对支持多hdfs 环境并行导出,需要将多个hdfs 环境的
namenode 用‘|’间隔开赋值给gbase_hdfs_namenodes。
gbase_hdfs_namenodes='hdfs1_acitve_nn,
hdfs1_standby_nn
|
hdfs2_acitve_nn,
hdfs2_standby_nn '
注意
执行HDFS 导出,集群所有节点需配置/etc/hosts,添加Hadoop
的Namenode 和Datanode 的IP 地址和主机名映射。