每 条 记 录 单 个 字 段 的 大 小
1 GB
单 表 记 录 数
无 限 制
单 表 列 数
25071600
( 随 字 段 类 型 不 同 会 有
变 化 )
单 表 中 的 索
引 个 数
无 限 制
复 合 索 引 包 含 列 数
32
单 表 约 束 个 数
无 限 制
并 发 连 接 数
10000
*
CN 节
点 数
分 区 表 的 分 区 个 数
32768
( 范 围 分 区 )
61 ( 哈 帐 分
区 / 列 表 分 区 )
分 区 表 的 单 个 分 区 大 小
128 TB # DN
节 点 数
分 区 表 的 单 个 分 区 记 录 数
无 限 制
南 大 通 用 数 据 技 术 股 份 有 限 公 司
GBASE"’
GBase 8c V5
技 术 白 皮 书
4 核
心 技 术
4
1
自 适 应 事 务 处 理 机 制
GBase 8c 采 用 自 适 应 的 事 务 处 理 机 制 来 提 升 系 统 性 能
。 切 于 只 需 要 在 本 地 节 点
进 行 处
理
的 事 务 , 协 调 器 按 本 地 事 务 处 理 流 程
进 行 处 理 , 不 需 要
进 行
两 阶 段 提 交 , 以 提 升 事 务 处 理
的
效 率 ; 对 于 需 要 跨 节 点 处
理 的 事
务
, 协 调 器 协 调 参 与 者
进 行
两 阶 段 提
交
,
以 保 障 全 局 事 务
的
一 致 性 。 蔓 个 事 务 处 理 的 流 程 对 客 户 端 透 明 。
4 2
数 据 分 布 策 略
GBase 8c 支 持 复 制 表 和 分 布
表 , 通 过 数 据 分 布 策 略 来 避 免 并 行 计 算
期 间 的 资 源 竞 争 ,
同 时 提 升 系
统 性 能 。 复 制 表 是 指 每 个 节 点 上 都 复 制 一 份 数 据
, 数 据 关 联 时 在 节 点 本 地 完 成 。
分 布 表 是 指 一 份 数 据 核 据 英 个 键 值 水 平 拆 分 到 不
同 的 节 点 上
, 将 单 个 大 表 拆 分 成 若 干 小 表 ,
提 升 系 统 读
写 的 性 能 。
日
关 宇 根 固
巳
分 李 牵
木 a 宏
p
根a
们
1
砂
E
T
oo
.
T
<
1
53
5 与
E
3
5
王亨
2
008
3
中
-
=
-
-
—HlERE
3
W
1
水 刑 上
1
TR2
S
55
R
8
foum
S
复 制 表 和 分 布 表 的 适 用 场 景 如 下 :
表 类 型
操 作 类 型
性 能 表 现
适 用 场 景
复 制 表
插 入
较 慢
字 典 表
查
询 (JOIN)
欧
/ 高 并
发 /
线 性 提 升 | 小
表
分 布 表
插 入
汪
/ 高 并
发 /
线 性 提 升 | 事
实 表
查
询 ( 多 表 单 片 )
欧
/ 高 并
发 /
线 性 提 升 | 超 大 表
南 大 通 用 数 据 技
术 股 份 有 限 公 司
GBASE"’
GBase 8c V5
技 术 白 皮 书
表 类 型
操 作 类 型
性 能 表 现
适 用 场 景
查
询 ( 单
表
多 片 )
较 伍
易
分 片 的 表
查
询 ( 多
表
多 片 )
慢
避
免 出 现
复 制 表 - 分 布
表 混 合 | 复 制 表 切 单 一 分 布 表 | 较 快
主 题 表 - 事 实 表
JOIN 查
询
字 典 表 - 事 实 表
小
表 - 超 大 表
4 3 高
性 能
4 3.
1
NUMA 优 化
GBase 8c BYNUMA
优 化 技 术 , 是 针 对 数 据 库 在 NUMA 架 构 CPU
上 运 行 时 出 现 的
资 源 消 耗
不
均 、 并 发 场 景 下 远 端
Node 时 延 较 高
等 问 题
进 行 优 化 的 技 术 。
通 过 设 置 执 行 线 程 与 Node 节 点 的 亲 和
度 ,GBase 8c 数 据 库 可 以 将 线 程 绑 定 在 指
定 的 CPU
核 心 运 行 , 从
而 避 免 跨 Node 调
度 , 降 低 远 端 访 问 时 延 , 提 升 数 据 库 对 外 处
理 性 能 。
同
时 , 线 程 通 过 Node 分 配 本 地 内 存 , 也 避 免 了 标 个 Node 节 点 内 存 耗 尽 而 其 他 Node 节
点 内 存 空
闲 的 情
况 ,
充
分 使 用 CPU、 内 存 等 资
源 , 从 而 提 升 数 据 库 对 外 处
理 性 能 。
4 3.2 并 行 技 术
GBase 8c 采 用
并 行 技 术 来 提 升 系
统 的 性 能 和 吞 叱
量 , 主 要 特 点 有 :
丫
Coordinator 协 调 器 制 定 分 布 式
执 行 计 划
, 将 算 子 下 推 到 数 据 节 点
, 数 据 节 点 五 行
处
理 ;
丫 “ 名 数 据 节 点 采 用 多 线 程 架
构 , 多 个 线 程 并 行 处 理 ;
v
采
用
MVCC
( 多 版 本 并 发 控 制 ) 技
术 , 实 现 读 冗 不 冲 突 , 提 升 读 写 并 行 处 理 能 力 ;
v
支 持
并 行 查 询 , 可 以 解 决 在 复 杂 查 询 场 景
中 , 单 个 查 询 的 执 行 时 间 过 长 造 成 系 统 并
发 度 降
低 , 从 而 影 响 数 据 库 对 外 服
务 性
能 的 问 题 。
4 3.
3 原
位 更 新
PostgreSQL
使 用 多 版 本 并 发 控 制 MVCC 机
制 :
南 大 通 用 数 据 技 术 股 份 有 限 公 司
20
GBASE
GBase 8e V5
挂 术 自 皮 节
当
执 行 delete
时 , 数 据 库 将 脂 除 元 组 直 接 标 记 为 dead,
并 不 会 真 正 从 物 理 上 删 除 ;
丫 “ 当
执 行 update
时 , 数 据 库 将 会 佩 用 tnused 空 间 写 入 一 个 新 的 元 组 , 然 后
将 旧 元 组
标 记 为 dead,
也 不 进 行 物 理 脑 除 ;
v
“ 当 表 上 频 繁 DML
时
,dead tuple 会 逐
渐 将 空 间 耗
尽 , 同
时 做 全 表 扫 描 时 产
生 很 多
额
外 I/0。
GBase 8c 采 用 原 位 更 新 技 术 :
Y
将 new tuple 放
在 原 位 ,
将
dead tuple
集 中 存 放
在 undo;
丨 “ 去
除 vacuum,
保 证 数 据 回 收 时 I0 稳
定 ;
v
“ 数 据 空 间 绮 况 。
PG 采 用 追 加 更 新 方 式 存 储 数 据 , 也 就 是 当 修 改 数 据 时 , 不 是 在 原 位 置 修 改 , 而
是 冗 入
一
个 新 记 录 , 这 会 导 致 空 间 膳
胀 , 也 就 需 要 定 期 回 收 过
期 的 数 据 空 间 这
一 直 是 PostgreSQL
的
一 个 骏 项 。
而 GBase 8c 实 现 了 Undo 机
制 , 也 就 可 以 在 原 位 置 更 新 数 据 。 这 带 来 的 好 处 包 括
:
“
高 性
能 : 对 插 入 、 更 新 、 背 除 等 不 同 负 载 的 业
务 , 性 能 以 及
资 源 使 用 表 现 相 对 均 衙 ,
相
比
Append Update 引 擎 性 能 提 升 108;
v “ 运 行 平
稳 :
性 能
运 行 平 稳 ,8 小
时 性
能 滚 降 值 从 13.
8# 降 低 至 2. 5%;
v
高 效 存
储 : 支 持 最 大 限
度 的 原 位 更 新
,TPCC
负 载 下 平 均 节 约 空 间 15%“20%,UND0
空 间 统 一 分 配 ,
集
中 回 收 , 复 用 效 率 更 高 , 存 储 空 间 使 用 更 加 高 效 、
平
稳 。
4 3.
4
算 子 下 推
算 子 下 推 是 GBase 8c
关 键 技 术 之 一 , 可 以 把 各 种 复 杂 的 5QL
进 行 下 推
执 行 ,
最
小 化 敬
据 移 动 , 这 是 相 对 于 基 于 分 库 分
表 的
中 间 件 方 案 的 核 心 优 势 。
4 3.
4 1
单 表 查 询 下 推
单 表 查 询 , 不 管 QL
的 where 条 件 是 否 带 有 分 片
键 , 优 化 器 都 可 以 生 成 下 推 的 执 行 计 划 ,
包
括 sort/group by 等 复 杂 算 子
, 都 可 以 下 推 。
南 大 通 用 数 据 技 术 股 份 有 限 公 司
®
GBASE
6Base Sc V5 技 术 白 皮 芒
Query:
SELECT
*
FROM tdl WHERE a=18 ORDER BY
b;
SELECT
*
FROM
tdl
WHERE
b=18
ORDER
BY
a;
1
=
协 调 器
Coordinator-1
Coordinator-2