(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983066.1 (22)申请日 2022.08.16 (71)申请人 江苏至信 信用评估咨询有限公司 地址 221000 江苏省徐州市铜山区马坡镇 后八段村 (72)发明人 闫乐之　赵加坤　孙琨　皇志富　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 张宇鸽 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/455(2006.01) G06K 9/62(2022.01) G06F 9/50(2006.01) (54)发明名称 一种基于深度强化学习的任务调度方法、 系 统、 装置及 介质 (57)摘要 本发明公开了一种基于深度强化学习的任 务调度方法、 系统、 装置及介质， 包括： 采集用户 的行为数据， 并形成数据集； 对数据集中的行为 数据进行读取， 生成任务， 并将任务信息按照任 务到达的先后顺序以队列的形式进行存储； 对任 务进行识别、 聚类和处理， 将任务划分成不同的 类型； 基于任务信息和基于深度强化学习的任务 分配策略， 选 取对应类型的任务， 调度任务信息， 满足用户 需要。 本发明能够对任务资源进行调 度， 提高资源利用率， 降低运维 成本。 权利要求书2页 说明书8页 附图3页 CN 115220898 A 2022.10.21 CN 115220898 A 1.一种基于深度强化学习的任务调度方法， 其特 征在于， 包括： 采集用户的行为数据， 并形成数据集； 对数据集中的行为数据进行读取， 生成任务， 并将任务信息按照任务到达的先后顺序 以队列的形式进行存 储； 对任务进行识别、 聚类和处 理， 将任务划分成不同的类型； 基于任务信息和基于深度强化学习的任务分配策略， 选取对应类型的任务， 调度任务 信息， 满足用户需要。 2.根据权利要求1所述的基于深度强化学习的任务调度方法， 其特征在于， 所述任务信 息包括： 任务的输入参数、 任务复杂度和数据量大小； 所述行为数据包括： 用户提交的任务 数据和资源的使用情况。 3.根据权利要求1所述的基于深度强化学习的任务调度方法， 其特征在于， 所述对任务 进行识别、 聚类和处 理， 将任务划分成不同的类型， 具体为： 基于K‑means算法进行聚类分析， 将任务划分为三个任务类型， 分别为计算需求型、 内 存需求型和宽带需求型； 再选取不同类型信息的任务进行提交。 4.根据权利要求3所述的基于深度强化学习的任务调度方法， 其特征在于， 所述选取不 同类型信息的任务进 行提交， 具体为： 不同的任务在提交时会附带自身的任务信息， 其中类 型信息作为 一个字段存 储在任务信息中， 表明任务类型的归属。 5.根据权利要求1所述的基于深度强化学习的任务调度方法， 其特征在于， 所述基于深 度强化学习的任务分配策略， 具体为： 初始化Q表中的所有元 素为0； 使用Q‑learning算法对任务进行排序， 将任务作为Q ‑learning中的状态和动作， 从当 前任务到下一个任务的排序过程作为智能体在当前状态选择一个可执行动作后转移到下 一个状态的过程； 将每个任务的Upward  Rank值作为该任务对应状态的立即奖励值， 通过迭代更新Q表， 直到Q表的值收敛； 根据收敛的Q表； 使用最大Q值优先原则对任务进行排序， 即每次都选择符合任务依赖 关系中的Q 值最大的任务作为下一个执 行任务， 直到所有任务都完成排序过程； 获取任务的执行顺序后， 基于分配策略将每个任务映射到响应的虚拟机上进行执行； 具体的分配策略为将任务在每个虚拟机上的最早完成时间和虚拟机的消 耗成本通过线性 加权的方式进行综合考虑， 每次将任务分配到加权和 最小的虚拟机上进行执行， 使得在任 务的完成时间最小并且同时做到虚拟机总成本下降的多目标优化的目的。 6.一种基于深度强化学习的任务调度系统， 其特征在于， 包括： 任务生成器、 聚类器、 任 务调度模块、 数据采集器和虚拟机； 所述数据采集器用于采集用户的行为数据， 并形成数据集； 所述任务生成器用于对数据集中的行为数据进行读取， 生成任务， 并将任务信息按照 任务到达的先后顺序以 队列的形式进行存 储至虚拟机中； 所述聚类 器用于对 存储的任务进行识别、 聚类和处 理， 将任务划分成不同的类型； 所述任务调度模块基于任务信 息和基于深度强化学习的任务分配策略， 选取对应类型 的任务， 对虚拟机中的任务数据进行调度， 满足用户要求。权　利　要　求　书 1/2 页 2 CN 115220898 A 27.根据权利要求6所述的基于深度强化学习的任务调度系统， 其特征在于， 所述任务调 度模块包括监测器和任务调度器； 所述监测器负责获取所有状态信息， 包括虚拟机状态和 任务状态， 其中， 状态监视器用于观 察智能体周围的环境， 即监测每个虚拟 机中任务的执行 情况， 虚拟机资源的使用情况以及任务调度器中的任务队列； 任务状态分为就绪、 等待、 运 行和暂停； 状态信息作为输入发送到任务调度器中； 任务调度器把任务分配给虚拟机， 虚拟机接收所分配的任务， 并根据所分配的任务进 行仿真， 观察得到的奖励和下一个 状态， 并将这 一时刻的环境状态、 动作、 奖励进行存 储。 8.根据权利要求7所述的基于深度强化学习的任务调度系统， 其特征在于， 所述基于深 度强化学习的任务分配策略， 具体为： 初始化Q表中的所有元 素为0； 使用Q‑learning算法对任务进行排序， 将任务看作Q ‑learning中的状态和动作， 从当 前任务到下一个任务的排序过程看作智能体在当前状态选择一个可执行动作后转移到下 一个状态的过程； 将每个任务的Upward  Rank值作为该任务对应状态的立即奖励值， 通过迭代更新Q表， 直到Q表的值收敛； 根据收敛的Q表； 使用最大Q值优先原则对任务进行排序， 即每次都选择符合任务依赖 关系中的Q 值最大的任务作为下一个执 行任务， 直到所有任务均完成排序过程； 获取任务的执行顺序后， 基于分配策略将每个任务映射到响应的虚拟机上进行执行； 具体的分配策略为将任务在每个虚拟机上的最早完成时间和虚拟机的消 耗成本通过线性 加权的方式进行综合考虑， 每次将任务分配到加权和 最小的虚拟机上进行执行， 使得在任 务的完成时间最小并且同时做到虚拟机总成本下降的多目标优化的目的。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑6任 一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑6任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115220898 A 3