Resource Pool 管理
Resource Pool 管理功能包括创建、显示、重命名、修改、删除Consumer
Group 以及查看nodes 上资源使用情况、查看coordinators 上资源使用情况、
查看nodes 上资源使用历史、
查看coordinators 上资源使用历史和查看资源管
控事件。点击“创建Resource Pool”如下图所示:
图5- 471 创建Resource Pool
在弹出创建Resource Pool 页面中,填写相关信息,点击OK。
名称:Resource Pool 的名称。
类型:static和dynamic。资源池为集群任务执行过程中的资源供给者与管
理者,分为静态与动态两种,静态资源池为资源供给者,而动态资源池为
资源管理者,约束任务对资源的使用。一个静态资源池中可以包含多个动
态资源池。一个动态资源池只能且必须隶属于一个静态资源池。
Base On:
类型为dynamic 时可选,
下拉框为所有类型为static 的Resource
Pool。
Priority:共分8级,1为最高,8为最低,视为保留参数,建议统一配置1;
此优先级只针对cpu设置。
cpu_percent:使用CPU资源的百分比,以整数表示,范围为[1 ,100], 对
于静态资源池为CPU百分比带宽控制(可参考linux cgroup/cpu 中
cpu.cfs_quota_us参数说明, 计算公式为cpu.cfs_quota_us = (cpu_cores
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 127 -
*
cpu.cfs_period_us) * cpu_percent )
;对于动态池为CPU使用权重控
制(可参考linux/cgroup 中cpu.shares参数说明,
计算公式为cpu.shares =
1024 * cpu_percent)。
max_memory:最大使用内存量,设置单位为M, 动态池总值应小于或等于其
所在静态池设定;
若此项不受控,建议设置大于(物理内存+SWAP)最大值。
max_temp_diskspace:池中单个任务执行过程中可使用临时磁盘量,设置
单位为M;若此项不受控,建议设置大于物理磁盘空间大小;由于其为必填
参数,所以在不想对其关注的情况下,动态池参数总和不能超过静态池参
数。
max_disk_space:该资源池关联的所有用户的表空间占用磁盘总和,设置
单位为M;若此项不受控,建议设置大于物理磁盘空间大小;由于其为必填
参数,所以在不想对其关注的情况下,动态池参数总和不能超过静态池参
数。
max_disk_writeio:池中任务对所有磁盘访问的写速率限制,设置单位为
MB/S,此参数必须与DC同步I/O控制参数_gbase_dc_sync_size配合使用才
生效;gbase_dc_sync_size须小于等于所有动态池中设置的
max_disk_writeio值,建议_gbase_dc_sync_size=1M (DC同步I/O控制详细
介绍请参看下面的说明部分);若此项不受控,建议设置大于物理磁盘写性
能理论值;设置动态池总值应小于或等于其所在静态池设定(由于其为必
填参数,所以在不想对其关注的情况下,动态池参数总和不能超过静态池
参数)
。
max_disk_readio:池中任务对所有磁盘访问的读速率限制,设置单位为
MB/S;若此项不受控,建议设置大于物理磁盘读性能理论值;动态池总值
应小于或等于其所在静态池设定(由于其为必填参数,所以在不想对其关
注的情况下,动态池参数总和不能超过静态池参数)
。
max_activetask:此参数为动态资源池专属,表明同时池中可并发任务数,
此参数设置的一个主要考量点为内存,每个任务的内存使用量限制=
max_memory / max_activetask;如果其过大会使得每个任务内存使用量下
降,导致任务执行失败,缺省值20;如果下发任务数大于此参数值,则多
GBaseDataStudio 管理工具手册
- 128 -
南大通用数据技术股份有限公司
出的任务进入等待队列。
task_max_parallel_degree:
池中任务执行并发度,
缺省为16;
注:
one pass
group、并行hash group、并行update、并行order by,在并行物化阶段,
会占用2倍的并行度。应分配2倍富裕量的并行度来避免发生串行。此并发
度并不影响加载的并发度设置。
task_waiting_timeout:池中任务等待执行超时,设置单位为秒,其设置
经验值为task_waiting_timeout = 最大容忍等待队列长度*
(task_running_timeout * 调整系数)
;由于task_running_timeout一般
会高于池中任务实际执行时长,所以可做适当调整,缺省为2592000s。
task_running_timeout:池中任务执行超时,设置单位为秒,其调整可参
考集群中对于池中任务平均执行统计值,缺省为2592000s。
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 129 -
图5- 472 创建Resource Pool
创建成功后,左侧树会刷新节点,刷新结束后在Resource Pool 管理下方显示
Resource Pool 列表,如下图所示:
GBaseDataStudio 管理工具手册
- 130 -
南大通用数据技术股份有限公司
图5- 473 显示Resource Pool
点击“重命名Resource Pool”,如下图所示:
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 131 -
图5- 474 重命名Resource Pool
在弹出的重命名窗口中,可以修改Resource Pool 的名称。
图5- 475 重命名Resource Pool
点击“修改Resource Pool”如下图所示:
GBaseDataStudio 管理工具手册
- 132 -
南大通用数据技术股份有限公司
图5- 476 修改Resource Pool
在弹出修改Resource Pool 页面中,可以修改Resource Pool 下的成员。名称、
Base On 和类型不能修改,其他参数可以修改,点击“OK”确认修改。
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 133 -
图5- 477 修改Resource Pool
点击“删除Resource Pool”
,可以删除Resource Pool,如下图所示:
GBaseDataStudio 管理工具手册
- 134 -
南大通用数据技术股份有限公司
图5- 478 删除Resource Pool
注意:
删除静态资源池,必须先删除其挂接的动态资源池。
若一个动态资源池在directive
点击“查看nodes 上资源使用情况”
,如下图所示:
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 135 -
图5- 479 查看nodes 上资源使用情况
GBaseDataStudio 管理工具手册
- 136 -
南大通用数据技术股份有限公司
图5- 480 查看nodes 上资源使用情况
点击“查看coordinators 上资源使用情况”
,如下图所示:
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 137 -
图5- 481 查看coordinators 上资源使用情况
GBaseDataStudio 管理工具手册
- 138 -
南大通用数据技术股份有限公司
图5- 482 查看coordinators 上资源使用情况
点击“查看nodes 上资源使用历史”
,如下图所示:
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 139 -
图5- 483 查看nodes 上资源使用历史
GBaseDataStudio 管理工具手册
- 140 -
南大通用数据技术股份有限公司
图5- 484 查看nodes 上资源使用历史
点击“查看coordinators 上资源使用历史”
,如下图所示:
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 141 -
图5- 485 查看coordinators 上资源使用历史
GBaseDataStudio 管理工具手册
- 142 -
南大通用数据技术股份有限公司
图5- 486 查看coordinators 上资源使用历史
点击“查看资源管控事件”
,如下图所示:
GBaseDataStudio 管理工具手册
南大通用数据技术股份有限公司
- 143 -
图5- 487 查看资源管控事件
GBaseDataStudio 管理工具手册
- 144 -
南大通用数据技术股份有限公司
图5- 488 查看资源管控事件