(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210961978.9 (22)申请日 2022.08.11 (65)同一申请的已公布的文献号 申请公布号 CN 115034390 A (43)申请公布日 2022.09.09 (73)专利权人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 郭永安　周金粮　王宇翱　钱琪杰　 孙洪波　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 朱小兵 (51)Int.Cl. G06N 3/08(2006.01)G06N 3/04(2006.01) G06F 9/50(2006.01) H04L 67/10(2022.01) (56)对比文件 CN 114153572 A,202 2.03.08 审查员 叶旭庆 (54)发明名称 一种基于云边端协同的深度学习模型推理 加速方法 (57)摘要 本发明公开了一种基于云边端协同的深度 学习模型推理加速方法， 具体涉及一种深度学习 模型分层卸载方法。 该方法通过对整个深度学习 模型推理过程中的计算时延、 数据传输时延、 数 据传播时延和模型分层卸载策略生成时延进行 理论建模， 并以计算任务响应时延最小为优化目 标， 决定最优深度学习模型的分层卸载策略。 相 较于以物理端为主导和以云计算中心为主导的 深度学习模 型执行框架， 本方法通过将边缘计算 范式和云计算结合起来， 并将深度学习模型分层 卸载至不同的边缘计算节点， 在满足计算精度的 前提下， 实现计算任务响应时延最小化。 权利要求书3页 说明书8页 附图2页 CN 115034390 B 2022.11.18 CN 115034390 B 1.一种基于云边端协同的深度学习模型推理加速方法， 所述云边端协同是指云服务 器、 与云服务器通信的至少两个边缘计算节点， 以及至少一个物理终端， 物理终端与边缘计 算节点的通信距离小于边缘计算节点与云服务器的距离， 其特征在于， 所述方法包括如下 步骤： 步骤S1、 物理终端将图像数据预处理为分辨率相同、 数据量相等的图像特征数据 D1， 输 入划分好的待卸载深度学习模型的各个 DNN层， 即 ， 将上一层输出作为下一层的输 入， 最终得到图像特 征数据 ； 步骤S2、 进行离线学习阶段： 基于各个边缘计算节点计算资源预设负载情况， 以各个边 缘计算节点上待卸载深度学习模型各个 处理图像特征数据 的过程为输入、 已知 的图像特征数据 通过各个边缘计算节点上待卸载深度学习模型的各个 对应的计 算时延为输出， 构建并训练获得分层计算时延预测模型 CT； 同时基于云服务器计算资源预设负载情况， 以云服务器上待卸载深度学习模型各个 处理图像特征数据 Dz的过程为输入、 已知的云服务器上待卸载深度学习模型各个 处理图像特征数据 Dz对应的计算时延为输出， 构建 并训练获得云服务器计算时延预 测模型CTc； 步骤S3、 根据各个边缘计算节点的实际计算资源负载情况， 由物理终端的计算任务所 对应的边缘计算节点应用分层计算时延预测 模型CT， 以待卸载深度学习模型各个 处 理图像特征数据 的过程为输入、 获得图像特征数据 通过各个边缘计算节点上待卸载 深度学习模型 各个 对应的计算时延为输出的理论分层计算时延   ； 步骤S4、 基于已知的边缘计算节点局域网网络带宽情况 r、 以及各个边缘计算节点之间 的物理距离l， 计算经过当前边缘计算节点传输图像特征数据 到其他边缘计算节点所需 的数据传输时延 T和传播时延 S； 同时基于已知的云服务器网络带宽情况 rc、 以及计算任务 的边缘计算节点与云服务器之间的物理距离 lc， 计算经过计算任务的边缘计算节点传输图 像特征数据D1到云服务器所需的数据传输时延 Tc和传播时延 SC； 步骤S5、 以步骤S3获得的各个边缘计算节点理论分层计算时延 、 以及步骤S4获得 的数据传输时延 T和传播时延 S为输入， 以所对应的响应时延 为输出， 构建深度学习模 型分层卸载模型如下式： 并以响应时延 TIME最小为优化目标,获得响应时延 最小的深度学习模型分层卸 载模型， 其中 t为边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层 卸载模型的时间； 步骤S6、 根据步骤S2获得的云服务器计算时延预测 模型CTc， 以及云服务器的实际计算 资源负载情况， 应用分层计算时延预测模型 CTc， 以待卸载深度学习模型 各个 处理图像权　利　要　求　书 1/3 页 2 CN 115034390 B 2特征数据 的过程为输入、 获得图像特征数据 通过云服务器上待卸载深度学习模型的 各个 对应的计算时延为输出的理论分层计算时延  ， 之后按如下公式：   ， 计算单独使用云服务器处理计算任务所产生 的理论计算时延  ， 其中 为将D1 通过DNN1产生的计算时延， 之后按如下公式计算单独使用云服务器时处理图像特征数据 Dz 的响应时延 TIMEc： ； 步骤S7、 动态比较单独使用云服务器时的响应时延 TIMEc与深度学习模型分层卸载模 型响应时延最小的 大小， 若 小于TIMEc， 则以响应时延 最小对应的深度学 习模型分层卸载模型为分层卸载策略， 完成待计算数据以最小化响应时延为目标的卸载计 算； 否则以响应时延 TIMEc对应的单独使用云服务器处理待计算数据为最 终分层卸载策略， 完成待计算数据以最小化响应时延的卸载计算； 步骤S8、 基于步骤S7获得的分层卸载策略， 各执行分层卸载策略的边缘计算节点收集 计算任务时的计算负载情况和实际计算时延， 之后返回步骤S2。 2.根据权利要求1所述的一种基于云边端协同的深度学习模型推理加速方法， 其特征 在于， 已划分好的待卸载深度学习模 型的各个 DNN层按如下方法获得:将待卸载深度学习模 型的隐藏层、 输入层以及输出层的所包含的神经元， 以各单独成列的神经元为划分为 n列， 获得单独成列的神经 元列， 之后获得 ， n为正整数。 3.根据权利要求2所述的一种基于云边端协同的深度学习模型推理加速方法， 其特征 在于， 步骤S1具体为： 基于已分割好的待卸载深度学习模型的各个 以各个边缘计算节点上待卸载深 度学习模型各个 处理图像特征数据 的过程为输入、 图像特征数据 通过各个边 缘计算节点上待卸载深度学习模型的各个 对应的计算时延为输出， 分别构建各个 边 缘计算节点分层计算时延模型如下式： ； 其中， 为计算资源负载情况预 设CPU负载、 为计算资源负载情况 预设GPU负载、  为计算资源负载情况 预设缓存负载。 4.根据权利要求3所述的一种基于云边端协同的深度学习模型推理加速方法， 其特征 在于， 步骤S3中， 基于已知的边缘计算节点局域网网络带宽情况 r， 各个边缘计算节点之间 的物理距离 l， 按如下公式：权　利　要　求　书 2/3 页 3 CN 115034390 B 3