(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211114620.9 (22)申请日 2022.09.14 (71)申请人 康键信息技 术 （深圳） 有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 李万鹏　郑卫星　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 付伟丽 (51)Int.Cl. G06F 9/455(2006.01) G06F 9/50(2006.01) G06F 8/61(2018.01) (54)发明名称 GPU应用发布方法及装置、 存储介质、 计算机 设备 (57)摘要 本申请涉及人工智能及数字医疗技术领域， 公开了一种GPU应用发布方法及装置、 存储介质、 计算机设备， 该方法包括： 接收目标应用发布请 求， 其中， 所述目标应用发布请求包括目标应用 对应的所需GP U资源以及 代码运行环境； 在GP U服 务器对应的多个GPU虚拟机中， 获取与所述所需 GPU资源匹配的目标GPU虚拟机； 构建与所述代码 运行环境对应的目标应用容器镜像； 依据所述目 标应用容器镜像以及所述目标GPU虚拟机， 发布 所述目标应用。 本申请将GPU服务器虚拟化为多 个GPU虚拟机， 并在目标应用请求发布时， 根据目 标应用的所需GPU资源自动获取匹配的目标GPU 虚拟机， 一台GPU服务器物理机可以被多个应用 程序利用， 有助于GPU 服务器的资源利用率， 且提 升GPU资源的分配效率。 权利要求书2页 说明书9页 附图3页 CN 115373803 A 2022.11.22 CN 115373803 A 1.一种GPU应用发布方法， 其特 征在于， 所述方法包括： 接收目标应用发布请求， 其中， 所述目标应用发布请求包括目标应用对应的所需GPU资 源以及代码运行环境； 在GPU服务器对应的多个GPU虚拟机中， 获取与所述所需GPU资源匹配的目标GPU虚拟 机； 构建与所述代码运行环境对应的目标应用容器镜像； 依据所述目标应用容器镜像以及所述目标GPU虚拟机， 发布所述目标应用。 2.根据权利要求1所述的方法， 其特征在于， 所述接收目标应用发布请求之前， 所述方 法还包括： 将所述GPU服 务器虚拟化 为多个所述GPU虚拟机； 生成每个所述GPU虚拟机各自对应的虚拟机节点， 并构建包含多个所述虚拟机节点的 虚拟机集群， 其中， 所述虚拟机节点中记录有对应的所述GPU虚拟机的虚拟机标识和剩余 GPU资源， 所述虚拟机节点用于调度对应的GPU虚拟机； 相应地， 所述在GPU服务器对应的多个GPU虚拟机中， 获取与所述所需GPU资源匹配的目 标GPU虚拟机， 包括： 在所述虚拟机节点中获取对应的剩余GPU资源大于或等于所述所需GPU资源的目标虚 拟机节点， 并依据所述目标虚拟机节点对应的目标虚拟机标识， 确定所述目标GPU虚拟机 。 3.根据权利要求2所述的方法， 其特征在于， 所述依据所述目标应用容器镜像以及所述 目标GPU虚拟机， 发布所述目标应用， 包括： 将所述目标应用容器镜像发布到所述目标虚拟机节点中， 以使所述目标应用具备通过 所述目标应用容器镜像调度所述目标GPU虚拟机的能力。 4.根据权利要求2所述的方法， 其特征在于， 所述虚拟机节点中还记录有虚拟机节点占 用状态； 所述构建包 含多个所述虚拟机节点的虚拟机集群之后， 所述方法还 包括： 对任意虚拟机节点标记污点标签； 相应地， 所述在所述虚拟机节点中获取对应的剩余GPU资源大于或等于所述所需GPU资 源的目标虚拟机节点， 包括： 判断未被占用的虚拟机节点中是否包含对应的虚拟机资源大于或等于所述所需GPU资 源的第一 候选虚拟机节点； 若包含所述第一候选虚拟机节点， 则依据虚拟机分配规则， 在所述第一候选虚拟机节 点中获取一个作为所述目标虚拟机节点； 若不包含所述第 一候选虚拟机节点， 则判断未标记污点标签的虚拟机节点中是否包含 对应的虚拟机资源大于或等于所述所需GPU资源的第二 候选虚拟机节点； 若包含所述第二候选虚拟机节点， 则依据虚拟机分配规则， 在所述第二候选虚拟机节 点中获取一个作为所述目标虚拟机节点。 5.根据权利要求4所述的方法， 其特征在于， 所述判断未标记污点标签的虚拟机节点中 是否包含对应的虚拟机资源大于或等于所述所需GPU资源的第二候选虚拟机节点之后， 所 述方法还 包括： 若不包含所述第 二候选虚拟机节点， 则识别所述目标应用发布请求是否携带有容忍参 数；权　利　要　求　书 1/2 页 2 CN 115373803 A 2若所述目标应用发布请求携带有容忍参数， 则依据所述容忍参数以及所述所需GPU资 源， 计算所述目标应用的容忍GPU资源， 并在标记有污点标签的虚拟机节点中获取一个对应 的剩余GPU资源大于或等于所述 容忍GPU资源的所述目标虚拟机节点。 6.根据权利要求2所述的方法， 其特征在于， 所述识别所述目标应用发布请求是否携带 有容忍参数之后， 所述方法还 包括： 若所述目标应用发布请求未携带容忍参数， 则基于各虚拟机节点的剩余GPU资源以及 所述所需GPU资源， 确定待扩容虚拟 机节点和待缩容虚拟机节点， 并依据所述待扩容虚拟机 节点对应的剩余GPU资源以及所述所需GPU资源， 确定扩容资源； 基于所述扩容资源， 对所述待扩容虚拟机节点对应的GPU虚拟机进行资源扩容， 以及对 所述待缩容虚拟机节点对应的GPU虚拟机进行资源 缩容； 将所述待扩容节点作为目标GPU虚拟机节点， 并依据所述目标虚拟机节点对应的目标 虚拟机标识， 确定所述目标GPU虚拟机 。 7.根据权利要求1至6中任一项所述的方法， 其特征在于， 所述构建与所述代码运行环 境对应的目标应用容器镜像， 包括： 在预设镜像仓库中， 获取与所述代码运行环境匹配的基础镜像； 基于所述目标应用的运行代码以及所述基础镜像， 构建所述目标应用容器镜像。 8.一种GPU应用发布装置， 其特 征在于， 所述装置包括： 请求接收模块， 用于接收目标应用发布请求， 其中， 所述目标应用发布请求包括目标应 用对应的所需GPU资源以及代码运行环境； 虚拟机获取模块， 用于在GPU服务器对应的多个GPU虚拟机中， 获取与所述所需GPU资源 匹配的目标GPU虚拟机； 镜像构建模块， 用于构建与所述代码运行环境对应的目标应用容器镜像； 应用发布模块， 用于依据所述目标应用容器镜像以及所述目标GPU虚拟机， 发布所述目 标应用。 9.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执行 时实现权利要求1至7中任一项所述的GPU应用发布方法。 10.一种计算机设备， 包括存储介质、 处理器及存储在存储介质上并可在处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一 项所述的GPU应用发布方法。权　利　要　求　书 2/2 页 3 CN 115373803 A 3