返回首页

gbase数据、南大通用产品文档:GBase8a_gbase_optimizer_subselect_materialize

更新日期:2024年09月11日

取值:[0|1]
默认值:1
说明:子查询无用列优化。将from 子查询中不被外面引用的列删除。默认打开。
修改方式:
可使用set 语句修改值也可在配置文件中修改值。
适用于session、
global
范围均可。

GBase 8a MPP Cluster 参数手册
文档版本2022-06-07
南大通用数据技术股份有限公司
66

调度程序中包含可自动运行的内置任务和传感器。
下表显示内置调度程序任务和传感器。传感器具有结果表,其中存储了所收集信息,以及
用于确定信息存储时间长度的保留期。可通过更新 ph_task 表来更改任务和传感器属性,
如频率。某些任务由阈值触发。可通过更新 ph_threshold 表更改阈值。 可通过
将 ph_task 表中 tk_enable 列的值更改为 f 来禁用任务或传感器。
通过查询 ph_task 表中的 run_duration 列,可以确定任务所用的时间。
表 1. 内置任务和传感器
任务或传感器
描述
结果表
频率
保留
时间
add_storage
此任务在配置自动空间管理时自
动添加更多存储空间。

根据需要

清除警报
该任务从 ph_alert 表中除去
存在时间超过了阈值(15 天)
的所有警报条目。该阈值

每天一次


GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 520 -
任务或传感器
描述
结果表
频率
保留
时间
在 ph_threshold 表中的名称
为 ALERT HISTORY RETENTION。
auto_compress
此任务压缩配置为自动压缩的
表。



auto_crsd
该任务对表和分段执行压缩、收
缩、重新打包和取消分段操作。
缺省情况下,已禁用该任务。
必须通过更新 ph_task 表
启用该任务。
每个操作
在 ph_threshold 表中有两
行:一行控制是否启用了该操
作,一行控制该操作的阈值。
有关更多信息,请参阅自动优
化数据存储。

每周一次

autoreg exe
该任务注册首次使用的数据库扩
展。

根据需要

autoreg
migrate-console
内部。此任务使用日志或缓冲日
志的日志记录选项来检查每个数
据库,并根据需要将所有内置数
据库扩展迁移到对于数据库服务
器而言正确的版本。此任务根据
需要为各个数据库创建子任务。

服务器启动


autoreg vp
该任务在必要时为数据库扩展创
建专用虚拟处理器。

根据需要


GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 521 -
任务或传感器
描述
结果表
频率
保留
时间
auto_tune_cpu_v
ps
如果分配的 VP 数小于计算机上
的 CPU 处理器数的一半,该任
务将自动添加 CPU 虚拟处理
器。

服务器启动


Auto Update
Statistics 评估
该任务根据当前 Auto Update
Statistics (AUS) 策略分析记
录的所有数据库中的所有表,标
识必须更新其分发的表,并为这
些表生成 UPDATE STATISTICS
语句。AUS 策略
由 ph_threshold 表中的阈值
设置:
• AUS_AGE:统计信息在
30 天之后更新。
• AUS_CHANGE:统计信息
在更改数据量达到 10%
时更新。
• AUS_AUTO_RULES:按照
准则更新统计信息。
• AUS_SMALL_TABLES:包
含的行数少于 100 的
表始终自行更新其统计
信息。

每天一次

Auto Update
Statistics 刷新
该任务运行“Auto Update
Statistics 评估”任务生成的
UPDATE STATISTICS 语句。更新
统计信息的 PDQ 优先级

每周六和周
日的凌晨 1
点到 5 点
之间


GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 522 -
任务或传感器
描述
结果表
频率
保留
时间
由 ph_threshold 表中的阈值
AUS_PDQ 设置为 10。
bad_index_alert 该任务检查已损坏的索引。如果
找到了任何已损坏索引,将
向 ph_alert 表添加警告警
报。
有关更多信息,请参阅验证索
引。

每天一次

bar_act_log_rot
ate
该任务对 BAR_ACT_LOG 配置参
数中指定的 ON-Bar 活动日志文
件进行循环交替。
ON-Bar 活动日志循环交替时,
服务器将切换到新联机消息日
志文件,并将之前的日志文件
的标识号加 1。达到日志文件
最大数量之后,会删除具有最
高标识的日志文件。
要循环交替的最大日志的阈值
在 ph_threshold 表中指
定。

每 30 天的
凌晨 3 点
(最大日志
文件数为
12)

bar_debug_log_r
otate
该任务对 BAR_DEBUG_LOG 配置
参数中指定的 ON-Bar 调试日志
文件进行循环交替。
ON-Bar 调试日志循环交替时,
服务器将切换到新联机消息日
志文件,并将之前的日志文件

每 30 天的
凌晨 3 点
(最大日志
文件数为
12)


GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 523 -
任务或传感器
描述
结果表
频率
保留
时间
的标识号加 1。达到日志文件
最大数量之后,会删除具有最
高标识的日志文件。
要循环交替的最大日志的阈值
在 ph_threshold 表中指
定。
check_backup
该任务检查以确
保 ph_threshold 表中的阈值
指定的时间段以来已运行了备
份。
• REQUIRED LEVEL
BACKUP:任何级别备份
之间最大为 2 天
• REQUIRED LEVEL 0
BACKUP: 0 级备份之间
最大为 2 天
如果未进行备份,将
向 ph_alert 表添加警告警
报。

每天一次

check_for_ipa
对于每一个具有一个或多个未完
成定点变更操作的表,该任务为
其在 ph_alert 表中添加一个
条目。

每周一次

idle_user_timeo
ut
该任务终止空闲时间超过了 60
分钟的用户会话。

每 2 小时

GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 524 -
任务或传感器
描述
结果表
频率
保留
时间
缺省情况下,已禁用该任务。
必须通过更新 ph_task 表
启用该任务。
有关更多信息,请参阅自动终
止空闲连接。
ifx_ha_monitor_
log_replay_task
该任务监视高可用性集群的重放
位置。

未设置

ifx_TrickleFeed
_load_ID
此任务持续刷新数据集市中的数
据。数据集市和加速器的名称在
任务描述中列出。在为数据集市
启用缓慢更新后,此任务在调度
程序中显示。每个已启用缓慢更
新的数据集市都有一个单独的任
务。任务名称中的 ID 是唯一
的。

启用缓慢更
新时指定的
每个秒数

作业运行程序
该任务使用专用 dbWorker 线程
在后台运行 OpenAdmin Tool
(OAT) 的服务器任务。仅
供 OpenAdmin Tool (OAT) 内
部使用。

根据需要

清除作业结果
该任务除去存在时间超过了阈值
(30 天)的 OpenAdmin Tool
(OAT) 作业结果条目。仅
供 OpenAdmin Tool (OAT) 内
部使用。

每天一次

mon_checkpoint 该传感器保存有关检查点的信
息。
mon_checkpoi
nt
每小时
7 天

GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 525 -
任务或传感器
描述
结果表
频率
保留
时间
mon_chunk
此传感器保存有关块使用情况和
I/O 块性能的常规信息。
mon_chunk
每小时
30 天
mon_command_his
tory
该任务
从 command_history 表中删
除存在时间超过了阈值(30
天)的行。该阈值
在 ph_threshold 表中的名称
为 COMMAND HISTORY
RETENTION。

每天一次

mon_compression
_estimates
此传感器保存有关在压缩数据时
可节省的空间量的信息。
mon_compress
ion_
estimates
每周一次
30 天
mon_config
该传感器保存 onconfig 文件
中每个配置参数的最新值。
mon_config
每天一次

mon_config_star
tup
该传感器保存服务器启动
时 onconfig 文件中每个配置
参数的值。
mon_config
服务器启动

99 天
mon_iohistory
此传感器保存有关块 I/O 的性
能信息。您可以
在 ph_threshold 表中更改
IO_SAMPLES_PER_HOUR 参数以更
频繁地收集信息。

每小时
30 天
mon_low_storage 该任务扫描数据库空间列表,以
查找低于 SP_THRESHOLD 配置参
数指定的阈值的空间。然后,该
任务将通过使用存储池中的条目
来扩展块或添加块,以扩充空
间。
mon_low_stor
age
每小时
7 天

GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 526 -
任务或传感器
描述
结果表
频率
保留
时间
有关更多信息,请参阅自动空
间管理。
mon_memory_syst
em
该传感器收集有关服务器所用内
存量的信息。
mon_memory_s
ystem
每小时
7 天
mon_page_usage 此传感器保存有关存储空间中已
用和可用的页面的信息。
mon_page_usa
ge
每天一次
7 天
mon_profile
该传感器保存服务器概要文件信
息。
mon_prof
每 4 小时 30 天
mon_sysenv
该启动传感器保存数据库服务器
启动时有关环境的信息。
mon_sysenv
服务器启动

60 天
mon_table_names 该传感器保存表名称及其创建时
间。
mon_table_na
mes
每天一次
30 天
mon_table_profi
le
该传感器保存表概要文件信息,
其中包括该表上发生的更新、插
入和删除操作的总数。
mon_table_pr
ofile
每天一次
7 天
mon_users
该传感器保存有关每个用户的概
要文件信息。
mon_users
每 4 小时 7 天
mon_vps
该传感器收集虚拟处理器信息。 mon_vps
每 4 小时 15 天
online_log_rota
te
该任务对 MSGPATH 配置参数中
指定的联机消息日志文件进行循
环交替。
联机消息日志循环交替时,服
务器将切换到新联机消息日志
文件,并将之前的日志文件的
标识号加 1。达到日志文件最

每 30 天的
凌晨 3 点
(最大日志
文件数为
12)


GBase 8s 管理员指南
南大通用数据技术股份有限公司
- 527 -
任务或传感器
描述
结果表
频率
保留
时间
大数量之后,会删除具有最高
标识的日志文件。
要循环交替的最大日志的阈值
在 ph_threshold 表中指
定。
post_alarm_mess
age
该任务发布警报。

每小时

purge_tables
此任务标识已超过其清除策略的
滚动窗口表。它根据每个清除策
略放弃或分离符合条件的分段,
直至满足该策略或者直至无法再
除去任何分段。

每天 00:45
保存 SQL 跟踪
用户在 OpenAdmin Tool
(OAT) 中启用该传感器后,该
传感器将当前 SQL 历史记录跟
踪缓冲区的内容保存到表中。仅
供 OpenAdmin Tool (OAT) 内
部使用。
sql_savesnap 每 15 分钟 1 天
SET tk_enable
此任务启用对消息日志文件进行
循环交替的任务。

每 30 天的
凌晨 3 点

配置文件
在$GCLUSTER_BASE/config/gbase_8a_gcluster.cnf 配置文件中,可以查看和修改
GCluster 的基本配置。
在$GCLUSTER_BASE/config/cluster_common.cnf 中记录了节点的id 等信息以供查
看。
说明

若无特殊说明,GCluster 的配置修改都是在gbase_8a_gcluster.cnf 内
[gbased]组件中。
配置文件格式说明
[TagName]
Variable_name = Value
表4- 5 参数说明
参数名称


TagName
要设置的变量所生效的组件。

Client:客户端

GBased:GCluster 服务的相关配置

GBasedump:gbasedump 服务的相关配置

GBase:gbase 的相关配置
Variable_name
设置的变量名
Value
设置的变量值
示例
GCluster 的配置文件$GCLUSTER_BASE/config/gbase_8a_gcluster.cnf 内容参考如
下:

GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-09-15)
南大通用数据技术股份有限公司
146
$ cat $GCLUSTER_BASE/config/gbase_8a_gcluster.cnf
[client]
port=5258
socket = /opt/192.168.146.22/gcluster_5258.sock
connect_timeout=43200
#default_character_set=gbk
[gbased]
basedir = /opt/192.168.146.22/gcluster/server
datadir = /opt/192.168.146.22/gcluster/userdata/gcluster
socket = /opt/192.168.146.22/gcluster_5258.sock
pid_file = /opt/192.168.146.22/gcluster/log/gcluster/gclusterd.pid
#default_character_set=gbk
#gcluster_metadata_server_ip=192.168.7.195
log_error
port=5258
gcluster_gnode_port=5050
core_file
default_storage_engine=express
default_time_zone='+8:00'
_gbase_query_path=0
skip_name_resolve
query_cache_type = 0
query_cache_size = 0M
event_scheduler= 1
thread_stack = 4194304
sql_mode=PAD_CHAR_TO_FULL_LENGTH,PIPES_AS_CONCAT,ANSI_QU
OTES,IGNORE_SPACE,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON
_ZERO,NO_ENGINE_SUBSTITUTION,STRICT_ALL_TABLES,NO_ZERO_I
N_DATE,NO_ZERO_DATE,ONLY_FULL_GROUP_BY
lower_case_table_names=1
max_connections = 10000
max_connect_errors=1000000
max_allowed_packet = 64M
net_write_timeout = 1000000
net_read_timeout = 1000000
connect_timeout = 1000000
interactive_timeout
=1000000

GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-09-15)
南大通用数据技术股份有限公司
147
wait_timeout = 1000000
open_files_limit = 65535
gbase_express_log = 1
gcluster_connect_net_read_timeout
=
1000000
gcluster_connect_net_write_timeout =
1000000
gcluster_connect_timeout = 1000000
gcluster_wait_query_cancel_timeout = 200
gcluster_reconn_times = 3
gcluster_async_connect_timeout = 120
gcluster_use_special_insert_method = 1
gcluster_use_special_materialized_table = 1
gcluster_special_insert_method_comment=temp
gcluster_use_new_threadpool = 1
gcluster_max_thread_in_pool = 600
gcluster_use_conn_pool = 1
gcluster_max_conn_in_pool = 300
gcluster_conn_ping_expire = 0
gcluster_dynamic_cluster_node_status = 1
gcluster_lock_level = 2
gcluster_temp_table_engine='express nolock'
gcluster_dml_ddl_proxy_switch = 0
gcluster_adjust_nodes_before_redist = 0
gcluster_starschema_optimize = 0
gcluster_starschema_join_estimate_optimize = 1
gcluster_hash_redistribute_groupby_optimize = 1
gcluster_hash_redistribute_join_optimize = 2
gcluster_crossjoin_use_hash_distribution = 1
gcluster_insertselect_use_values_optimize = 0
gcluster_union_optimize = 1
gcluster_count_optimize = 1
gcluster_insert_singlegrouppart_optimize = 0
gcluster_empty_result_set_optimize = 0
gcluster_special_correlated_optimize = 1
gcluster_support_hash_redist_combiner = 0

GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-09-15)
南大通用数据技术股份有限公司
148
gcluster_order_by_limit_offset_optimize = 0
gcluster_mode_wait = 1
gcluster_mode_checkinterval = 5
gcluster_feventlog_optimize = 1
gcluster_ha_event_monitor = 1
gcluster_ha_node_left_event_delay = 120000
gcluster_sql_statistics = 0
gcluster_use_new_decimal = 1
gcluster_query_retry = 1
gcluster_insert_optimize_flag = 1
gcluster_serial_exec_query = 0
#gcluster_special_correlated_optimize = 1
#gcluster_ddl_parallel_execute =1
gbase_compression_str_method=5
gbase_compression_num_method=5
back_log = 65535
gcluster_hash_version = 1
_gbase_transaction_disable = 1
#kafka consumer parameters, turn on/off according to your requirement.
#gcluster_lock_level = 10
#gcluster_assign_kafka_topic_period=20
#gcluster_kafka_max_message_size=1000000000
#gcluster_kafka_batch_commit_dml_count=100000
#gcluster_kafka_local_queue_size=210000
#gcluster_kafka_consume_batch=10
#gcluster_kafka_parallel_commit = 1
#gcluster_kafka_delete_execute_directly=0
#gcluster_kafka_loader_max_start_count=20
#gcluster_kafka_user_allowed_max_latency=3000
#gcluster_kafka_message_format_type=JSON
#gcluster_kafka_consumer_enable=1
#gcluster_kafka_result_check=1
#gcluster_suffix_consistency_check=1
#gcluster_kafka_primarykey_can_be_null=0
#_t_gcluster_kafka_null_transform=0
#gcluster_kafka_consumer_output_charset_name=UTF8

GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-09-15)
南大通用数据技术股份有限公司
149
#const express can calculated before query
gcluster_prepare_const_express = 0
[gbasedump]
max_allowed_packet = 64M
[gbase]
no_auto_rehash
GCluster 的配置文件$GCLUSTER_BASE/config/ cluster_common.cnf 内容参考如下:
{
"cluster": {
"uuid":"a7777256-7bf5-11eb-b80f-000c29b37bff",
"nodeIPtype":"0",
"localnodeid":"378710208",
"nodes": [
{
"memberaddr":"192.168.146.22"
},
{
"memberaddr":"192.168.146.23"
}
]
},
"datanode": {
"nodes": [
{
"memberaddr":"192.168.146.22"
},
{
"memberaddr":"192.168.146.23"
}
]
},
"gcware": {
"nodes": [
{
"memberaddr":"192.168.146.22"
},
{
"memberaddr":"192.168.146.23"

GBase 8a MPP Cluster 产品手册
4 管理员指南
文档版本953(2022-09-15)
南大通用数据技术股份有限公司
150
}
],
"client_port":"5919"
}
}