(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211209713.X (22)申请日 2022.09.30 (71)申请人 浙江宇视科技有限公司 地址 310051 浙江省杭州市滨江区西兴街 道江陵路88号10幢南座1-11层、 2幢A 区1-3楼、 2幢B区2 楼 (72)发明人 周迪　王威杰　徐爱华　董颖　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 初春 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 一种GPU集群调度方法及服 务器 (57)摘要 本申请实施例公开了一种GPU集群调度方法 及服务器。 该方法包括： 标卡中与CP U连接的入口 GPU发起统计消息， 将统计消息在闭合环网中进 行传递； 若统计消息传递到入口GPU， 则根据统计 消息确定闭合环网中的GPU信息； 通过GPU信息， 确定闭合环网中的GPU数量， 以使CPU根据GPU数 量向标卡分配待处理数据。 通过上述技术方案， 利用GPU之间的快速传输通道传递统计消息， 能 够快速精准地确定闭合环网中处于工作状态的 GPU数量， 提高了GP U数量统计效率， 进而使CP U根 据GPU数量分配待处 理数据， 实现负载均衡 。 权利要求书2页 说明书8页 附图4页 CN 115269209 A 2022.11.01 CN 115269209 A 1.一种GPU集群调度方法， 其特征在于， 应用于GPU集群调度服务器， 所述GPU集群调度 服务器包括中央处理器CPU以及与所述CPU分别连接的至少一个标卡， 所述标卡包括至少两 个图形处 理器GPU通过高速互联通道串行 连接形成的闭合环网， 所述方法包括： 所述标卡中与所述CPU连接的入口GPU发起统计消息， 将所述统计消息在所述闭合环网 中进行传递； 若所述统计消息传递到所述入口GPU， 则根据所述统计消息确定所述闭合环网中的GPU 信息； 通过所述GPU信息， 确定所述闭合环网中的GPU数量， 以使所述CPU根据所述GPU数量向 所述标卡分配待处 理数据。 2.根据权利 要求1所述的方法， 其特征在于， 所述标卡中与所述CPU连接的入口GPU发起 统计消息， 将所述统计消息在所述闭合环网中进行传递， 包括： 所述入口GPU将所述统计消息中的计数值置一， 并将所述统计消息发送至与所述入口 GPU连接的任一GPU； 若GPU接收到与所述GPU的第一端口连接的第一GPU发送的统计消息， 则查询所述GPU的 工作状态是否正常； 若正常， 则将所述统计消息中的计数值加一， 并将所述统计消息发送至与所述GPU的第 二端口连接的第二GPU。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述统计消息确定所述闭合环网中的 GPU信息， 包括： 解析所述统计消息中的计数值， 得到GPU信息； 通过所述GPU信息， 确定所述闭合环网中的GPU数量， 包括： 将所述GPU信息中的计数值的最大值， 作为所述闭合环网中的GPU数量。 4.根据权利要求1所述的方法， 其特征在于， 确定所述闭合环网中的GPU数量之后， 所述 方法还包括： 所述CPU根据各标卡的闭合环网中的GPU数量， 向各标卡的入口GPU发送待 处理数据； 其 中， 所述待处 理数据的数据量与标卡的闭合环网中的GPU数量呈正相关。 5.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述GPU通过第一端口与第一 GPU连接， 所述GPU通过第二端口与第二GPU连接， 所述第一端口与所述第二端口之间连接有 开关模块； 相应地， 将所述统计消息在所述闭合环网中进行传递， 包括： 若所述GPU的工作状态异常， 则通过所述开关模块将所述第一端口和所述第二端口连 通， 将所述统计消息由第一GPU传递至第二GPU。 6.根据权利要求1所述的方法， 其特征在于， 所述标卡为至少两个， 其中任一标卡的边 界GPU与另一标卡的边界GPU 连接， 所述边界GPU为 从所述闭合环网中除所述入口GPU以外的 GPU中确定的。 7.根据权利要求6所述的方法， 其特征在于， 所述统计消息包括边界GPU标识， 所述边界 GPU标识用于表示所述GPU是否为 边界GPU； 相应地， 所述方法还 包括： 针对任一标卡， 若存在待传递数据， 则所述入口GPU根据所述边界GPU标识确定边界权　利　要　求　书 1/2 页 2 CN 115269209 A 2GPU； 将所述待传递数据通过所述边界GPU发送至另一标卡的边界GPU， 以将所述待传递数据 传递至另一标卡。 8.根据权利要求7所述的方法， 其特征在于， 所述标卡中相连的至少两个GPU与所述另 一标卡中相连的至少两个GPU一 一对应连接， 连接的链路聚合形成第一逻辑链路； 相应地， 所述方法还 包括： 所述标卡中相连的至少两个GPU相互发送保活信息， 从处于正常工作状态的GPU中选择 一个GPU作为 边界GPU； 所述另一标卡中相连的至少两个GPU相互发送保活信息， 从处于正常工作状态的GPU中 选择一个GPU作为 边界GPU； 所述边界GPU之间通过 所述第一逻辑链路进行通信。 9.根据权利要求1所述的方法， 其特征在于， 所述标卡中相连的至少两个GPU分别与所 述CPU进行连接， 分别连接的链路聚合形成第二逻辑链路； 相应地， 所述方法还 包括： 所述标卡中与所述CPU分别连接的至少两个GPU相互发送保活信息， 从处于正常工作状 态的GPU中选择一个GPU作为入口GPU； 所述入口GPU与所述CPU通过 所述第二逻辑链路进行通信。 10.一种GPU集群调度服 务器， 其特 征在于， 所述GPU集群调度服 务器包括： 中央处理器CPU以及与所述CPU分别连接的至少一个标卡， 所述标卡包括至少两个图形 处理器GPU通过高速互联通道串行 连接形成的闭合环网； 入口GPU用于发起统计消息， 将所述统计消息在所述闭合环网中进行传递； 其中， 所述 入口GPU为所述标卡中与所述CPU连接的GPU； 入口GPU还用于若所述统计消息传递到所述入口GPU， 则根据所述统计消息确定所述闭 合环网中的GPU信息； 入口GPU还用于通过所述GPU信息， 确定所述闭合环网中的GPU数量， 以使所述CPU根据 所述GPU数量向所述标卡分配待处 理数据。 11.根据权利 要求10所述的GPU集群调度服务器， 其特征在于， 所述GPU通过第一端口与 第一GPU连接， 所述GPU通过第二端口与第二GPU 连接， 所述第一端口与所述第二端口之间连 接有开关模块。 12.根据权利要求10所述的GPU集群调度服务器， 其特征在于， 所述标卡为至少两个， 其 中任一标卡的边界GPU与另一标卡的边界GPU连接， 所述边界GPU为从所述闭合环网中除所 述入口GPU以外的GPU中确定的。 13.根据权利要求10所述的GPU集群调度服务器， 其特征在于， 所述标卡中相连的至少 两个GPU与所述另一标卡中相连的至少两个 GPU一一对应连接， 连接的链路聚合形成第一逻 辑链路。 14.根据权利 要求10‑13中任一项所述的GPU集群调度服务器， 其特征在于， 所述标卡中 相连的至少两个GPU分别与所述CPU 进行连接， 分别连接的链路聚合形成第二逻辑链路。权　利　要　求　书 2/2 页 3 CN 115269209 A 3