更新日期：2024年09月11日
Hadoop 加载失败问题
问题现象
Hadoop 升级并新增了kerberos 认证功能，执行从hadoop 加载数据时报错：
执行Load data infile ‘hdp://…’into table …报错：
I/O operation on hdp://…HdfsIOException:InputStreamImpl:cannot read
file.
Express 日志中信息显示错误是hadoop server 端抛出的异常：
HdfsIOException：InputStreamImpl：all nodes have been tried and no valid
replica can be read for Block
解决方法：
查看hadoop 日志发现datanode 之间数据传输开启了加密传输：
Failed to read expected SASL data transfer protection handshake from client
at ….Perhaps the client is running an older version of Hadoop which does
GBase 8a MPP Cluster 最佳实践
5 FAQ
文档版本（2022-02-11）
南大通用数据技术股份有限公司
151
not support SASL data transfer protection.
当HDFS 启用Kerberos 认证，并且仅允许HTTPS 连接，datanode 数据传输启用了
传输加密功能时，即hadoop 配置如下时：
需要配置如下参数才可以正常加载hadoop 数据：
set
global
_gbase_hdfs_rpcconfig=’dfs.encrypt.data.transfer=true,dfs.block.acces
s.token.enable=true’;