(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210903648.4
(22)申请日 2022.07.28
(71)申请人 北京西太科技有限公司
地址 100000 北京市海淀区林风 二路38号
院4号楼6层61 1
(72)发明人 苗雨沛
(51)Int.Cl.
G06F 9/50(2006.01)
G06N 3/00(2006.01)
(54)发明名称
一种单机贪婪异步并行计算优化方法及系
统
(57)摘要
本发明涉及计算机技术领域, 尤其是指一种
单机贪婪异步并行计算优化方法及系统, 包括能
够监控计算机CP U、 GPU、 DRAM、 IO相关设备参数的
监控器; 数据异步传输系统; 基于贪婪算法的优
化器; 基于GPU的并行算法优化器。 本发明技术方
案能够使单台计算机的计算能力达到最大化, 以
提升单机 计算效能。
权利要求书1页 说明书4页 附图4页
CN 115202886 A
2022.10.18
CN 115202886 A
1.一种单机贪婪异步并行计算优化系统, 包括监控计算机cpu、 gpu、 DRM、 IO相关设备参
数的监控器; 异步传输系统; 基于贪婪 算法的优化器; 基于 GPU的并行算法优化器, 其特征在
于: 所述设备监参数控器实时监控计算机以获取计算机设备参数包括: 初次运行收集CPU、
GPU频率、 IO速度、 DRAM空间和传输速度; 试验运行中收集CPU、 GPU利用率曲线、 IO利用率曲
线、 DRAM空间利用率曲线。
2.根据权利要求1所述的一种单机贪婪异步并行计算优化系统, 其特征在于: 所述异步
传输系统包括依据最优参数化方案把计算数据从磁盘异 步传输到DRAM, 以利用DRAM的传输
速度高的特 征减少下次计算的数据传输等待时间。
3.根据权利要求1所述的一种单机贪婪异步并行计算优化方法及系统, 其特征在于: 所
述基于贪婪 算法的优化器包括: 依据监控器实时获取到 设备利用率等参数对计算任务所开
启的线程数、 数据批次、 单批数据装填 量进行不断优化, 并记录最优参数化方案 。
4.根据权利要求1所述的一种单机贪婪异步并行计算优化系统, 其特征在于: 所述基于
GPU的并行算法优化器包括:
S1: 低耦合, 语言无关;
S2: 技术底层, 高复用, 对于使用者 来说和普通磁 盘一样;
S3: 底层高效, 生成快、 读取 快;
S4: 基于编程文件系统的业 务可流程化。
5.根据权利要求1所述的一种单机贪婪异步并行计算优化方法, 其特征在于: 包括所述
贪婪并行算方法以MPFS为基础结合资源贪婪 最优算法, 使 数据传输、 处理、 计算全流程以异
步的方式达到一种最优利用资源的综合优化框架; 主要由内存级可编程文件系统MPFS、 资
源最优分配贪婪优化器Gre edy Optimizer,G O、 基于GPOF 单元的综合 业务流程优化构成;
还包括以下步骤:
S01: 获取计算任务;
S02: 通过监控器获取CPU、 GPU、 DRAM、 IO利用率;
S03: 数据异步传输:
S04: GPU算法优化器;
S05: 试验性计算;
S06: 通过贪婪优化器不断优化;
S07: 记录最优参数化方案;
S08: 按照最优参数化方案计算。
6.根据权利要求1所述的一种单机贪婪异步并行计算优化方法, 其特征在于: 基于 内存
实现操作系统级别的文件系统MFS, 并利用FUSE实现MFS的可扩展事 件接口。
7.根据权利要求1所述的一种单机贪婪异步并行计算优化方法, 其特征在于: 所述资源
最优分配贪婪优化器主 要由监控器和计算器组成。权 利 要 求 书 1/1 页
2
CN 115202886 A
2一种单机 贪婪异步并行计算 优化方法及系统
技术领域
[0001]本发明涉及计算机技术领域, 尤其涉及一种单机贪婪异步并行计算优化方法及系
统。
背景技术
[0002]现在的业务系统在单机系统上运行时, 面临着IO介质、 碎文件读写、 单线程等数据
传输瓶颈, 同步处理、 多核协 同失衡等处理瓶颈, 以及单核单线程、 CPU/GPU协 同失衡等瓶
颈, 以及处理、 计算、 输出等流程瓶颈, 因此不能充分利用现有计算资源, 使 得单机资源未被
充分利用, 业务系统的运行效率低下的问题。 采用贪婪并行计算技术可有效解决上述问题,
提升业务系统在单机上的运行效率。
发明内容
[0003]本发明的目的是为了解决现有技术中存在的缺点, 而提出的一种单机贪婪异步并
行计算优化方法及系统。
[0004]为了实现上述目的, 本发明采用了如下技术方案: 一种单机贪婪异步并行计算优
化系统, 包括监控计算机cpu、 gp u、 DRM、 IO相关设备参数的监控器; 异步传输系统; 基于贪婪
算法的优化器; 基于GPU的并行算法优化器, 其特征在于: 所述设备监参数控器实时监控计
算机以获取计算机设备参数包括: 初次运行收集CPU、 GPU频率、 IO速度、 DRAM空间和传输速
度; 试验运行中收集CPU、 GPU利用率曲线、 IO利用率曲线、 DRAM空间利用率曲线。
[0005]作为上述 技术方案的进一 步描述:
[0006]所述异步传输系统包括依据最优参数化方案把计算数据从磁盘异步传输到DRAM,
以利用DRAM的传输 速度高的特 征减少下次计算的数据传输等待时间。
[0007]作为上述 技术方案的进一 步描述:
[0008]所述基于贪婪算法的优化器包括: 依据监控器实时获取到设备利用率等参数对计
算任务所开启的线程数、 数据批次、 单批数据装填量进行不断优化, 并记录最优参数化方
案。
[0009]作为上述 技术方案的进一 步描述:
[0010]所述基于GPU的并行算法优化器包括:
[0011]S1: 低耦合, 语言无关;
[0012]S2: 技术底层, 高复用, 对于使用者 来说和普通磁 盘一样;
[0013]S3: 底层高效, 生成快、 读取 快;
[0014]S4: 基于编程文件系统的业 务可流程化。
[0015]一种单机贪婪异步并行计算优化方法, 包括所述贪婪并行算方法以MPFS 为基础结
合资源贪婪 最优算法, 使 数据传输、 处理、 计算全流程以异 步的方式达到一种最优利用资源
的综合优化框架; 主要由内存级可编程文件系统MPFS、 资源最优分配贪婪优化器Greedy
Optimizer,G O、 基于GPOF 单元的综合 业务流程优化构成;说 明 书 1/4 页
3
CN 115202886 A
3
专利 一种单机贪婪异步并行计算优化方法及系统
文档预览
中文文档
10 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 13:07:55上传分享