(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211051083.8 (22)申请日 2022.08.30 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 蒋丽　谢正昊　缪家辉　赖健鑫　 李嘉柱　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06N 20/00(2019.01) H04L 41/0896(2022.01) H04L 41/142(2022.01) H04L 41/16(2022.01)H04L 67/12(2022.01) (54)发明名称 一种基于数字孪生辅助的联邦学习新鲜度 优化方法与系统 (57)摘要 本发明公开了一种基于数字孪生辅助的联 邦学习新鲜度优化方法与系统， 涉及工业物联网 的技术领域， 包括构建工业物联网联邦学习模 型， 计算所有智能设备的数字孪生体进行一轮联 邦学习的能耗、 本地数据新鲜度和模 型参数新鲜 度； 以能耗和新鲜度之和最小化为目标， 建立联 合带宽分配、 数据收集频率和数据计算频率的优 化问题， 并转化为马尔科夫决策过程， 定义状态 空间、 动作空间和回报函数； 建立深度强化学习 网络并进行训练， 利用训练好的深度强化学习网 络进行资源调度， 获得最优调度策略， 应用到对 应的智能设备。 本发明有效减少联邦学习的时 延， 提高联邦学习的学习效率， 杜绝了出现反向 优化的情况， 提高了联邦学习模型的性能。 权利要求书5页 说明书13页 附图3页 CN 115481748 A 2022.12.16 CN 115481748 A 1.一种基于数字 孪生辅助的联邦学习新鲜度优化方法， 其特 征在于， 包括： S1： 构建工业物联网联邦学习模型， 所述模型包括一个中心服务器和若干个智能设备， 并生成每 个智能设备对应的数字 孪生体， 保存在中心服 务器中； S2： 根据工业物联网联邦学习模型， 计算所有智能设备的数字孪生体进行一轮联邦学 习的能耗、 本地数据新鲜度和模型参数新鲜度； S3： 以所有智能设备的数字孪生体进行一轮联邦学习的能耗、 本地数据新鲜度和模型 参数新鲜度之和最小化为 目标， 建立联合带宽分配、 数据收集频率和数据计算频率的优化 问题； S4： 将所述优化问题转化为马尔科夫决策过程， 定义工业物联网联邦学习模型的状态 空间、 动作空间和回报函数； S5： 基于近端策略优化算法建立深度强化学习网络， 利用状态空间、 动作空间和回报函 数对深度强化学习网络进行训练， 获得训练好的深度强化学习网络； S6： 利用训练好的深度强化学习网络进行资源调度， 获得最优调度策略， 即每个智能设 备的数字 孪生体分配的最优带宽、 最优数据收集频率和最优数据计算频率； S7： 将每个智能设备的数字孪生体分配的最优带宽、 最优数据收集频率和最优数据计 算频率应用到对应的智能设备。 2.根据权利要求1所述的基于数字孪生辅助的联邦学习新鲜度优化方法， 其特征在于， 所述步骤S1中， 构建的工业物联网联邦学习模型 具体为： 工业物联网联邦学习模型包括一个中心服务器和K个智能设备， 每个智能设备对应生 成数字孪生体， 共生成K个数字孪生体保存在中心 服务器中； 中心服务器向数字孪生体发送 联邦学习请求， 数字孪生体接收到联邦学习请求后开始进行联邦学习， 收集数据并计算， 训 练本地模型， 将训练好的本地模型更新到中心服务器； 中心服务器将接 收的各本地模型聚 合为全局模型； 设定中心服务器最大带宽为Bm， 分配给第k个数字孪生体的带宽为Bk， 第k个数字孪生体 数据收集频率 为 第k个数字 孪生体数据计算频率 为 3.根据权利要求2所述的基于数字孪生辅助的联邦学习新鲜度优化方法， 其特征在于， 所述步骤S2中， 根据工业物联网联邦学习模型， 计算所有智能设备 的数字孪生体进行一轮 联邦学习的能耗的具体方法为： 第k个数字孪生体的每个CPU周期的浮点运算次数为Ck， 收集一组数据所需的浮点运算 次数为 则每收集 一组数据的耗时为： 式中， 表示第k个数字 孪生体每收集一组数据的耗时； 第k个数字孪生体完成一次联邦学习到接收下一次联邦学习请求的时间间隔为 则 数据收集过程的能耗 为： 式中， 表示第k个数字孪生体数据收集过程的能耗， Pk表示第k个数字孪生体单位时权　利　要　求　书 1/5 页 2 CN 115481748 A 2间能耗； 第k个数字孪生体完 成一组收集数据的计算并更新所需的浮点运算次数为 则进行 一轮数据计算的本地时延为： 式中， 表示第k个数字 孪生体进行一轮数据计算的本地时延； 第k个数字 孪生体将训练好的本地模型 上传至中心服 务器的上传时间为： 式中， D表示训练好的本地模型的数据量， τk表示第k个 数字孪生体到中心服务器的信噪 比； 则所有智能设备的数字 孪生体进行一轮联邦学习的能耗 为： 式中， E表示所有智能设备的数字 孪生体进行一轮联邦学习的能耗。 4.根据权利要求3所述的基于数字孪生辅助的联邦学习新鲜度优化方法， 其特征在于， 所述步骤S2中， 根据工业物联网联邦学习模型， 计算本地数据新鲜度的具体方法为： 设定智能设备的数字孪生体训练本地模需要收集N组数据， 数字孪生体接收到联邦学 习请求后开始训练本地模型的时刻记为Trai nTime； 当数字孪生体接收到联邦学习请求时正处于空 闲状态， 数据新鲜度为： 式中， 表示处于空闲状态的第k个数字孪生体第n组数据的数据新鲜度， 表示 第k个数字 孪生体第n组数据的保存时刻； 当数字孪生体接收到联邦学习请求时正在收集第 i组数据， 则数据由第 i组数据和上一 轮N‑i组数据组成， 数据新鲜度为： 式中， i＜N。 5.根据权利要求3所述的基于数字孪生辅助的联邦学习新鲜度优化方法， 其特征在于， 所述步骤S2中， 根据工业物联网联邦学习模型， 计算模型参数新鲜度的具体方法为： 设定中心服务器等待时间阈值Tastrict， 当且仅当 时， 第k个数字孪生 体上传的训练好的本地模型被中心 服务器接收， 否则视为该数字孪生体掉队； K个数字孪生 体均在Tastrict内完成训练好的本地模型参数的上传， 完成上传时刻的模型参数新鲜度为： 权　利　要　求　书 2/5 页 3 CN 115481748 A 3