Resource Pool 管理 Resource Pool 管理功能包括创建、显示、重命名、修改、删除Consumer Group 以及查看nodes 上资源使用情况、查看coordinators 上资源使用情况、 查看nodes 上资源使用历史、 查看coordinators 上资源使用历史和查看资源管 控事件。点击“创建Resource Pool”如下图所示: 图5- 471 创建Resource Pool 在弹出创建Resource Pool 页面中,填写相关信息,点击OK。 名称:Resource Pool 的名称。 类型:static和dynamic。资源池为集群任务执行过程中的资源供给者与管 理者,分为静态与动态两种,静态资源池为资源供给者,而动态资源池为 资源管理者,约束任务对资源的使用。一个静态资源池中可以包含多个动 态资源池。一个动态资源池只能且必须隶属于一个静态资源池。 Base On: 类型为dynamic 时可选, 下拉框为所有类型为static 的Resource Pool。 Priority:共分8级,1为最高,8为最低,视为保留参数,建议统一配置1; 此优先级只针对cpu设置。 cpu_percent:使用CPU资源的百分比,以整数表示,范围为[1 ,100], 对 于静态资源池为CPU百分比带宽控制(可参考linux cgroup/cpu 中 cpu.cfs_quota_us参数说明, 计算公式为cpu.cfs_quota_us = (cpu_cores GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 127 - * cpu.cfs_period_us) * cpu_percent ) ;对于动态池为CPU使用权重控 制(可参考linux/cgroup 中cpu.shares参数说明, 计算公式为cpu.shares = 1024 * cpu_percent)。 max_memory:最大使用内存量,设置单位为M, 动态池总值应小于或等于其 所在静态池设定; 若此项不受控,建议设置大于(物理内存+SWAP)最大值。 max_temp_diskspace:池中单个任务执行过程中可使用临时磁盘量,设置 单位为M;若此项不受控,建议设置大于物理磁盘空间大小;由于其为必填 参数,所以在不想对其关注的情况下,动态池参数总和不能超过静态池参 数。 max_disk_space:该资源池关联的所有用户的表空间占用磁盘总和,设置 单位为M;若此项不受控,建议设置大于物理磁盘空间大小;由于其为必填 参数,所以在不想对其关注的情况下,动态池参数总和不能超过静态池参 数。 max_disk_writeio:池中任务对所有磁盘访问的写速率限制,设置单位为 MB/S,此参数必须与DC同步I/O控制参数_gbase_dc_sync_size配合使用才 生效;gbase_dc_sync_size须小于等于所有动态池中设置的 max_disk_writeio值,建议_gbase_dc_sync_size=1M (DC同步I/O控制详细 介绍请参看下面的说明部分);若此项不受控,建议设置大于物理磁盘写性 能理论值;设置动态池总值应小于或等于其所在静态池设定(由于其为必 填参数,所以在不想对其关注的情况下,动态池参数总和不能超过静态池 参数) 。 max_disk_readio:池中任务对所有磁盘访问的读速率限制,设置单位为 MB/S;若此项不受控,建议设置大于物理磁盘读性能理论值;动态池总值 应小于或等于其所在静态池设定(由于其为必填参数,所以在不想对其关 注的情况下,动态池参数总和不能超过静态池参数) 。 max_activetask:此参数为动态资源池专属,表明同时池中可并发任务数, 此参数设置的一个主要考量点为内存,每个任务的内存使用量限制= max_memory / max_activetask;如果其过大会使得每个任务内存使用量下 降,导致任务执行失败,缺省值20;如果下发任务数大于此参数值,则多 GBaseDataStudio 管理工具手册 - 128 - 南大通用数据技术股份有限公司 出的任务进入等待队列。 task_max_parallel_degree: 池中任务执行并发度, 缺省为16; 注: one pass group、并行hash group、并行update、并行order by,在并行物化阶段, 会占用2倍的并行度。应分配2倍富裕量的并行度来避免发生串行。此并发 度并不影响加载的并发度设置。 task_waiting_timeout:池中任务等待执行超时,设置单位为秒,其设置 经验值为task_waiting_timeout = 最大容忍等待队列长度* (task_running_timeout * 调整系数) ;由于task_running_timeout一般 会高于池中任务实际执行时长,所以可做适当调整,缺省为2592000s。 task_running_timeout:池中任务执行超时,设置单位为秒,其调整可参 考集群中对于池中任务平均执行统计值,缺省为2592000s。 GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 129 - 图5- 472 创建Resource Pool 创建成功后,左侧树会刷新节点,刷新结束后在Resource Pool 管理下方显示 Resource Pool 列表,如下图所示: GBaseDataStudio 管理工具手册 - 130 - 南大通用数据技术股份有限公司 图5- 473 显示Resource Pool 点击“重命名Resource Pool”,如下图所示: GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 131 - 图5- 474 重命名Resource Pool 在弹出的重命名窗口中,可以修改Resource Pool 的名称。 图5- 475 重命名Resource Pool 点击“修改Resource Pool”如下图所示: GBaseDataStudio 管理工具手册 - 132 - 南大通用数据技术股份有限公司 图5- 476 修改Resource Pool 在弹出修改Resource Pool 页面中,可以修改Resource Pool 下的成员。名称、 Base On 和类型不能修改,其他参数可以修改,点击“OK”确认修改。 GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 133 - 图5- 477 修改Resource Pool 点击“删除Resource Pool” ,可以删除Resource Pool,如下图所示: GBaseDataStudio 管理工具手册 - 134 - 南大通用数据技术股份有限公司 图5- 478 删除Resource Pool 注意: 删除静态资源池,必须先删除其挂接的动态资源池。 若一个动态资源池在directive 点击“查看nodes 上资源使用情况” ,如下图所示: GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 135 - 图5- 479 查看nodes 上资源使用情况 GBaseDataStudio 管理工具手册 - 136 - 南大通用数据技术股份有限公司 图5- 480 查看nodes 上资源使用情况 点击“查看coordinators 上资源使用情况” ,如下图所示: GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 137 - 图5- 481 查看coordinators 上资源使用情况 GBaseDataStudio 管理工具手册 - 138 - 南大通用数据技术股份有限公司 图5- 482 查看coordinators 上资源使用情况 点击“查看nodes 上资源使用历史” ,如下图所示: GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 139 - 图5- 483 查看nodes 上资源使用历史 GBaseDataStudio 管理工具手册 - 140 - 南大通用数据技术股份有限公司 图5- 484 查看nodes 上资源使用历史 点击“查看coordinators 上资源使用历史” ,如下图所示: GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 141 - 图5- 485 查看coordinators 上资源使用历史 GBaseDataStudio 管理工具手册 - 142 - 南大通用数据技术股份有限公司 图5- 486 查看coordinators 上资源使用历史 点击“查看资源管控事件” ,如下图所示: GBaseDataStudio 管理工具手册 南大通用数据技术股份有限公司 - 143 - 图5- 487 查看资源管控事件 GBaseDataStudio 管理工具手册 - 144 - 南大通用数据技术股份有限公司 图5- 488 查看资源管控事件