(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211169473.5 (22)申请日 2022.09.26 (71)申请人 城云科技 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道江南大道588号恒 鑫大厦主楼17层、 18层 (72)发明人 毛云青　来佳飞　彭大蒙　王勇　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 一种GPU资源POD的热迁移方法、 装置及应用 (57)摘要 本申请提出了一种GPU资源POD 的热迁移方 法、 装置及应用， 包括以下步骤： GPU客户端发送 迁移请求； 迁移POD中的迁移组件在收到所述迁 移请求后， 将所述元数据缓存索引发送给接收 POD的迁移 接收组件； 迁移POD中的迁移组件在收 到所述迁移请求后， 将高频内存块与低频内存块 传输到迁移接收组件中； GPU服务端收到迁移请 求后， 对任务优先级进行调整； 接收POD 对接收文 件进行哈希校验， 并与所述 GPU服务端确认GP U的 稳定性。 本方案通过解决GPU 容器镜像传输问题、 做到CPU状态快速拷贝、 保持GPU任务调度这三 者， 达到算法容器云GP U资源POD的快速 热迁移的 目的。 权利要求书2页 说明书10页 附图2页 CN 115292051 A 2022.11.04 CN 115292051 A 1.一种GPU资源POD的热迁移方法， 包括以下步骤： GPU客户端向需要进行热迁移的迁移POD和GPU服务端发送迁移请求， 算法容器云平台 的控制服 务器通过 所述迁移请求确认接收POD； 所述迁移POD中的迁移组件在收到所述迁移请求后， 对所述迁移POD中镜像文件的元数 据树状图索引进行检查得到元数据索引缓存， 将所述元数据缓存索引接收POD的迁移接收 组件， 所述接收POD的迁移接收组件根据所述元数据缓存索引在所述接收POD中建立文件系 统， 并将所述元 数据缓存索引所对应的数据放入所述文件系统中； 收集迁移POD中的进程树信息， 并在所述进程树信 息的每一进程中添加寻址代码， 所述 寻址代码在对应的进程对内存进行调用时被拷贝到对应的内存的地址空间并实时记录每 一内存的变化频次， 根据所述变化频次将 内存分为高频内存块和低频内存块， 将所述高频 内存块与所述低频内存块作为内存状态文件传输 到所述迁移接收组件中。 2.根据权利要求1所述的一种GPU资源POD的热迁移方法， 其特征在于， 在 “算法容器云 平台的控制服务器通过所述迁移请求确认接收POD ”步骤中， 所述控制服务器根据所述迁移 请求的指向参数来确认接收POD， 若 所述迁移请求的指向参数为空， 则根据资源和网络拓扑 自动分配最 适宜的服 务器节点作为接收POD。 3.根据权利要求1所述的一种GPU资源P OD的热迁移方法， 其特征在于， “所述迁移P OD中 的迁移组件在收到所述迁移请求后 ”步骤中， 所述迁移POD的迁移组件加入到所述算法容器 云平台中获取所述迁移请求。 4.根据权利要求1所述的一种GPU资源POD的热迁移方法， 其特征在于， 在 “对所述迁移 POD中镜像文件的元数据树状图索引进行检查得到元数据缓存索引 ”步骤中， 所述迁移POD 中的边车容器对所述迁移POD中镜像文件的元数据树状图索引进 行检索得到元数据索引缓 存， 所述元数据树状图索引是根据所述镜像文件中的数据生成的树状图索引， 所述元数据 索引缓存为所述元 数据树状图索引中被使用了的数据切片所对应的树状图索引。 5.根据权利要求1所述的一种GPU资源P OD的热迁移方法， 其特征在于， 在 “所述接收P OD 的迁移接收组件根据所述元数据树状索引和所述元数据缓存索引创建在所述接收POD中建 立文件系统， 并将所述元数据缓存索引所对应的元数据放入所述文件系统中 ”步骤中， 所述 接收POD对所述文件系统进行使用时先通过所述元数据缓存索引使用其对应的数据切片， 当需要用到除了所述元数据缓存索引所对应的数据切片之外的数据切片时， 通过所述元数 据树状图索引以网络调用的形式调用所述迁移POD的镜像文件中的数据切片进行使用。 6.根据权利要求1所述的一种GPU资源POD的热迁移方法， 其特征在于， 在 “将所述高频 内存块与所述低频内存块作为内存状态文件传输到所述迁移接 收组件中 ”步骤中， 将所述 低频内存块进行压缩、 合并后作为内存状态文件传输到所述迁移接 收组件中， 当所述高频 内存块的变化频次降低到所述低频内存块的变化频次时， 将其看做低频内存块进行压缩、 合并后作为内存状态文件传输到所述迁移接收组件中， 或在时间步长后将所述高频内存块 直接传输 到所述迁移接收组件中。 7.根据权利要求1所述的一种GPU资源POD的热迁移方法， 其特征在于， 当所述GPU服务 端接收所述迁移请求后， 对 所述迁移POD的任务队列进 行遍历， 以迭代次数作为最小调度单 元， 对所述任务队列中的队伍进行输入输出分析和上下文切换， 并对GPU内核进行前向调 用， 再后向的计算任务梯度的更新维度， 确认任务队列中任务的优先级。权　利　要　求　书 1/2 页 2 CN 115292051 A 28.一种GPU资源POD的热迁移装置， 包括： 请求模块： GPU客户端向需要进行热迁移的迁移P OD和GPU服务端发送迁移请求， 算法容 器云平台的控制服 务器通过 所述迁移请求确认接收POD； 文件迁移模块： 所述迁移POD中的迁移组件在收到所述迁移请求后， 对所述迁移POD中 镜像文件的元数据树状图索引  进行检查得到元数据索引缓存， 将所述元数据缓存索引接 收POD的迁移接收组件， 所述接收POD的迁移接收组件根据所述元数据缓存索引在所述接收 POD中建立文件系统， 并将所述元 数据缓存索引所对应的数据放入所述文件系统中； 内存迁移模块： 收集迁移POD中的进程树信息， 并在所述进程树信息的每一进程中添加 寻址代码， 所述寻址代码在 对应的进程对内存进 行调用时被拷贝到对应的内存的地址空间 并实时记录每一内存的变化频次， 根据所述变化频次将内存分为高频内存块和低频内存 块， 将所述高频内存块与所述低频内存块作为内存状态文件传输 到所述迁移接收组件中。 9.一种电子装置， 包括存储器和处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求 1‑7任一所述的一种GPU资源 POD的热迁移方法。 10.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有计算机程序， 所述计 算机程序包括用于控制过程以执行过程的程序代码， 所述过程包括根据权利要求1 ‑7任一 所述的一种GPU资源POD的热迁移方法。权　利　要　求　书 2/2 页 3 CN 115292051 A 3