(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210930830.9 (22)申请日 2022.08.04 (71)申请人 天津神舟通用数据技 术有限公司 地址 300384 天津市滨 海新区华苑产业区 工华道2号8号楼-1-1 (72)发明人 李晓鹏　贾宗秀　刘尧　张昕尧　 蒋旭　赵冬伟　姬涛涛　朱亚楠　 吴嵩　周勇亮　刘勇生　桑国彪　 乐承予　 (74)专利代理 机构 天津盛理知识产权代理有限 公司 12209 专利代理师 王利文 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 MPP并行数据库实例级副本均衡方法 (57)摘要 本发明涉及一种MPP并行数据库实例级副本 均衡方法， 其技术特点是： 存储IO的均衡策略为 每个WAL日志配置单独存储硬盘， 为业务数据配 置一个共享的大容量存储硬盘； 物理 内存的均衡 策略采用动态的数据页面 缓冲区分配方式； 计算 资源的均衡策略采用自适应工作方式； 回切原主 实例策略包括平滑模式rebalance和速度模式 rebalance以满足不同的场景需求。 本发明充分 考虑MPP并行数据库中并行计算、 批量装载数据 以及一次写入多次查询的特点， 分别从存储IO、 物理内存、 计算资源和回切原主实例这四个方面 进行实例级副本的均衡， 最终实现了在不妥协从 实例的冗余能力的基础上最大化主实例的计算 服务能力。 权利要求书2页 说明书6页 附图4页 CN 115309550 A 2022.11.08 CN 115309550 A 1.一种MPP并行数据库实例级副本均衡方法， 其特征在于： 包括存储IO的均衡策略、 物 理内存的均衡策略、 计算资源的均衡策略和回切原主实例策略； 所述存储IO的均衡策略： 为每个WAL日志配置单独存储硬盘， 为业务数据配置一个共享 的大容量存储硬盘； 所述物理内存的均衡策略： 采用动态的数据 页面缓冲区分配方式； 所述计算资源的均衡策略： 采用自适应工作方式， 将 从实例增加日志回放线程池、 协调 管理器以及一个RTO阈值， 从实例在初始阶段只启动一个日志回放线程， 协调管理器负责实 时计算WAL日志回放进展， 如果回放进展超过了设定的RTO阈值， 将唤醒更多的线程并行回 放， 直至全部回放完成， 再释放并保留一个回放线程继续工作； 所述回切原主实例策略： 包括平滑模式rebalance和速度模式rebalance以满足不同的 场景需求。 2.根据权利 要求1所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述WAL日 志配置的单独存储硬盘为SAS硬盘组成的RAID1， 所示业务数据配置的大容量存储硬盘采用 多块大容 量的SATA硬 盘组成的RAID5 。 3.根据权利要求1所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述动态 的数据页面缓冲区分配方式为： 为数据页面缓冲区设置两个容量值： 初始容量、 正常容量， 为存放页面的缓冲块设置两个缓冲块， 当数据库实例从实例启动时， 按照初始容量创建 哈 希映射数组和第一缓冲块， 此时的缓冲区大小为初始容量， 当从实例被提升为主实例时增 大哈希映射数组并创建第二缓冲块， 缓冲区增大到正常容量， 当主实例降级为从实例时缩 减哈希映射数组并删除第二缓冲块。 4.根据权利要求3所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述初始 容量和正常容 量的比例为1:4。 5.根据权利要求3所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述从实 例提升为主实例的具体实现方法为： ⑴增大哈希映射数组； ⑵计算正常容量和初始容 量差值， 申请第二缓冲块并与第一缓冲块构成 缓冲块组； ⑶依照动态哈希算法， 将部分页面由第一缓冲块迁移至第二缓冲块； ⑷页面访问 自动定位到新的存放 位置。 6.根据权利要求3所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述主实 例降级为从实例的具体实现方法为： ⑴依照动态哈希算法， 将第二缓冲块中数据 页面迁移至第一缓冲块； ⑵如果第一缓冲块中已经没有空 闲空间， 将剩余数据 页面回刷至数据文件； ⑶缩减哈希映射数组； ⑷释放第二缓冲块的内存空间； ⑸页面访问 自动定位到新的存放 位置。 7.根据权利要求1所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述计算 资源的均衡策略中， 协调管理器还根据修改RTO阈值的指令要求， 设置并行回放的线程数 量， 当修改RTO阈值为0时， 将立即触发从实例并行回放， 所述 从实例并行回放的具体实现方 法为：权　利　要　求　书 1/2 页 2 CN 115309550 A 2⑴接收线程将接收到的WAL日志回刷至日志文件； ⑵接收线程 通知协调管理器日志回刷进度； ⑶回放线程 顺序读取WAL日志进行回放； ⑷回放线程 通知协调管理器日志回放进度； ⑸协调管理器检查发现回刷进度和回放进度偏差超过了RTO阈值， 启动更多的线程并 行回放； ⑹协调管理器 检查发现已全部回放完成， 释放并保留一个回放线程继续工作。 8.根据权利要求1所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述平滑 模式rebalance的具体实现方法为： ⑴注册rebalance事 件， 并启动 后台任务； ⑵主实例对外继续 提供完整的服 务； ⑶后台任务 监听从实例的回放进度， 直至 完成； ⑷后台任务触发rebalance， 转换主从角色， 主实例降级为从实例， 从实例提升为主实 例； ⑸新的主实例开始对外提供查询计算。 9.根据权利要求1所述的MPP并行数据库实例级副本均衡方法， 其特征在于： 所述速度 模式rebalance的具体实现方法为： ⑴执行rebalance语句， 等待结束； ⑵限制MPP并行数据库对外提供 更新、 删除等 修改服务； ⑶通知从实例启动多个线程并行回放； ⑷待回放完成， 转换主从角色， 主实例降级为从实例， 从实例提升为主实例； ⑸rebalance语句执 行结束， 新的主实例开始对外提供查询计算。权　利　要　求　书 2/2 页 3 CN 115309550 A 3