更新日期:2024年09月11日
gbase_parallel_max_thread_in_pool=2000
在并发任务的情况下,gbase_loader_parallel_degree 没有配置,默认会取线程
池可用线程数的一半,即1000 个线程。加载过程中每个dataparser 线程会创建
2 个8M 的Buf 用于上传trc 和err 数据,现场的表包含longblob 字段,这两个
buf会被扩充为128M,
因此极端情况下的TEMP堆占用会达到128M*2*1000=256GB,
导致达到内存管理上限最终报错。
参数配置注意事项:
1)gbase_parallel_max_thread_in_pool 不宜设置过大,建议不超过512;
2)现场生产环境并行度一定要设置合理并行度;
在V952.38 和V953.21 版本上已经完善并行度自动评估机制,限定自动评估的并
行度不能超过CPU 核数。
GBase 8a MPP Cluster 最佳实践
5 FAQ
文档版本(2022-02-11)
南大通用数据技术股份有限公司
150