(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211037131.8 (22)申请日 2022.08.29 (71)申请人 创新奇智 （青岛） 科技有限公司 地址 266200 山东省青岛市 即墨市通济新 经济区九江路17号A1-9 (72)发明人 刘青伟　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 吕爱霞 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/54(2006.01) G06F 9/48(2006.01) (54)发明名称 GPU资源调度方法、 调度器、 电子设备和存储 介质 (57)摘要 本申请提供一种GPU资源调度方法、 调度器、 电子设备和存储介质， 其中， GP U资源调度方法包 括:拦截目标应用对象的GPU资源调用请求； 基于 GPU资源使用数据判断本地GPU资源是否满足调 用需求， 其中， 所述GP U资源调用请求携带所述调 用需求； 当所述本地GPU资源满足所述调用需求 时， 调用所述本地 GPU资源响应所述 GPU资源调用 请求； 当所述本地GPU资源无法满足所述调用需 求时， 调用远程 GPU资源响应所述 GPU资源调用请 求。 本申请能够在不增加硬件成本的前提下， 满 足GPU资源调用需求， 同时， 本申请能够优先利用 调用性能更优的本地GPU资源响应请求， 进而降 低调用远程 GPU资源所带来的精度损失与通 讯开 销。 权利要求书2页 说明书8页 附图2页 CN 115098272 A 2022.09.23 CN 115098272 A 1.一种GPU资源调度方法， 其特征在于， 所述GPU资源调度 方法应用于云计算容器中， 所 述GPU资源调度方法包括： 拦截目标应用对象的GPU资源调用请求； 基于GPU资源使用数据判断本地GPU资源是否满足调用需求， 其中， 所述GPU资源调用请 求携带所述调用需求； 当所述本地GPU资源满足所述调用需求时， 调用所述本地GPU资源响应所述GPU资源调 用请求； 当所述本地GPU资源无法满足所述调用需求时， 调用远程GPU资源响应所述GPU资源调 用请求。 2.如权利 要求1所述的GPU资源调度 方法， 其特征在于， 在所述调用远程GPU资源响应所 述GPU资源调用请求之前， 所述GPU资源调度方法还 包括： 向所述远程GPU资源所在的远程主机发送网络连接请求， 以通过所述网络连接请求， 与 所述远程主机的后端服 务建立网络连接 。 3.如权利 要求1所述的GPU资源调度 方法， 其特征在于， 所述调用远程GPU资源响应所述 GPU资源调用请求， 包括： 将所述GPU资源调用请求进行序列化和映射处 理， 得到目标请求； 基于与所述远程主机的后端服务的网络连接， 将所述目标请求发送至所述远程主机的 后端服务， 以使得所述远程主机的后端服务调用所述远程主机的GPU 软件堆栈执行GPU计算 函数， 并得到第一计算结果； 接收所述远程主机的后端服 务返回的所述第一计算结果。 4.如权利 要求1所述的GPU资源调度 方法， 其特征在于， 调用所述本地GPU资源响应所述 GPU资源调用请求， 包括： 将所述GPU资源调用请求发送至本地主机的后端服务， 以使所述本地主机的后端服务 调用所述本地主机的GPU软件堆栈执 行GPU计算 函数， 并得到第二计算结果； 接收所述本地主机的后端服 务返回的所述第二计算结果。 5.如权利要求 4所述的GPU资源调度方法， 其特 征在于， 所述GPU资源调度方法还 包括： 获取所述本地主机的内存地址； 将所述本地主机的内存地址映射到所述云计算容器的内存空间中， 以使得所述本地主 机的后端服 务通过共享内存通信方式与所述云计算 容器进行 数据交互。 6.如权利 要求1所述的GPU资源调度 方法， 其特征在于， 所述GPU资源使用数据包括本地 GPU资源使用率； 以及， 所述基于GPU资源使用数据判断本地GPU资源是否满足调用需求， 包括： 基于所述本地GPU资源使用率判断所述本地GPU资源是否满足所述调用需求。 7.如权利 要求6所述的GPU资源调度 方法， 其特征在于， 所述基于所述本地GPU资源使用 率判断所述本地GPU资源是否满足调用需求， 包括： 当所述本地GPU资源使用率大于预设阈值时， 则确定所述本地GPU资源无法满足所述调 用需求； 当所述本地GPU资源使用率小于等于所述预设阈值时， 则确定所述本地GPU资源满足所 述调用需求。权　利　要　求　书 1/2 页 2 CN 115098272 A 28.一种调度器， 其特 征在于， 所述调度器 应用于云计算 容器中， 所述调度器包括： 监测模块， 用于拦截目标应用对象的GPU资源调用请求； 判断模块， 用于基于GPU资源使用数据判断本地GPU资源是否满足调用需求， 其 中， 所述 GPU资源调用请求携带 所述调用需求； 第一调用模块， 用于当所述本地GPU资源满足所述调用需求时， 调用所述本地GPU资源 响应所述GPU资源调用请求； 第二调用模块， 用于当所述本地GPU资源无法满足所述调用需求时， 调用远程GPU资源 响应所述GPU资源调用请求。 9.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 配置用于存储机器可读指令， 所述指令在由所述处理器执行时， 执行如权利要 求1‑7任一项所述的GPU资源调度方法。 10.一种存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计算机程序被 处理器执行如权利要求1 ‑7任一项所述的GPU资源调度方法。权　利　要　求　书 2/2 页 3 CN 115098272 A 3