数据在各生命周期有不同的处理要求,尤其是时间序列数据,其业务场景常常是初
期集中于OLTP,中期用于OLAP,后期很少使用,只是偶尔用于历史数据分析,
整体呈现热、温、冷三种典型的处理模型,从存储成本和计算特征考虑,不同时期
的数据采用不同的引擎存储。
最常见的一种情况,最近生成的数据会被频繁使用和修改,将其存放在GBase 8t
中,将近期生成但不再更新的数据放在GBase 8a 中,将历史数据放在Hive 中。用
户通过SQL 透明读写,
而GBase UP 按照设定的数据迁移策略后台自动透明的高效
迁移。
代码示意: 创建分区表,按热、温、冷分别存储在三个数据引擎
Create table t_part (…, in_date date) partition by range(in_date)
(partition p_hive values less than (date_sub(current_date(),interval 1 month)) engine=‘Hive’,
partition p_8a values less than (date_sub(current_date(),interval 1 week)) engine=‘GBase8a’,
partition p_8t values less than MAXVALUE engine=‘GBase8t’);