(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210923752.X (22)申请日 2022.08.02 (71)申请人 中信建投证券股份有限公司 地址 100010 北京市东城区朝内大街18 8号 (72)发明人 王平　刘硕　张赫麟　肖钢　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孙翠贤　刘洋 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/455(2006.01) G06F 9/50(2006.01) (54)发明名称 一种任务编排调度系统、 方法、 装置及电子 设备 (57)摘要 本发明实施例提供了一种任务编排调度系 统、 方法、 装置及电子设备， 涉及计算机技术领 域， 该系统包括： airflow平台和容器云平台； airflow平台， 用于加载包含有各个待执行任务 的数据内容的指定镜像文件， 对指定镜像文件进 行解析处理， 得到各个待执行任务的数据内容； 确定各个待执行任务对应的指定编排调度顺序， 并按照指定编排调度顺序， 依次将各个待执行任 务的数据内容发送至容器云平台； 容器云平台， 用于每当接收到airflow平台发送的至少一待执 行任务的数据内容时， 针对当前接收到的每一待 执行任务， 利用该待执行任务的指定数据内容执 行该待执行任务对应的代码内容。 通过本方案可 以实现对各种 调度关系的任务进行编排调度。 权利要求书3页 说明书16页 附图5页 CN 115391004 A 2022.11.25 CN 115391004 A 1.一种任务编排调度系 统， 其特征在于， 所述任务编排调度系 统包括： airflow平台和 容器云平台； 所述airflow平台， 用于加载包含有各个待执行任务的数据内容的指定镜像文件， 对所 述指定镜像文件进 行解析处理， 得到各个待 执行任务的数据内容； 其中， 每一待 执行任务的 数据内容包括该待执行任务的代码 内容， 以及指定数据内容， 所述指定数据内容包括用于 记录在任务执行时所需被分配计算资源的资源参数的pod模板文件、 用于进行容器启动的 容器启动命令以及 在任务执 行时所需的环境变量； 所述airflow平台， 还用于确定各个待执行任务对应的指定编排调度 顺序， 并按照所述 指定编排调 度顺序， 依次将各个待 执行任务的数据内容 发送至容器云平台； 其中， 所述指 定 编排调度顺序用于表征 所述各个待执 行任务的执 行顺序； 所述容器云平台， 用于每当接收到所述airflow平台发送的至少一待执行任务的数据 内容时， 针对当前接 收到的每一待执行任务， 利用该待执行任务的指定数据内容中的容器 启动命令， 启动用于对该待执行任务进行处理的目标容器， 按照该待执行任务的指定数据 内容中的pod模板文件所记录的资源参数， 为所述目标容器进 行资源分配， 并基于该待 执行 任务的指定数据内容中的环境变量， 利用所述目标容器执行该待执行任务对应的代码内 容。 2.根据权利要求1所述的系统， 其特征在于， 所述指定镜像文件中还记录有各个待执行 任务的调用关系； 所述airflow平台， 还用于从所述指定镜像文件中解析得到各个待执行任务的调用关 系； 所述系统还 包括： 编排调度平台； 所述编排调度平台， 用于从所述所述airflow平台中获取各个待执行任务的调用关系， 并利用所述调用关系， 生成所述指定编排调度顺序， 并发送给 所述airfl ow平台。 3.根据权利 要求1所述的系统， 其特征在于， 所述airflow平台， 还用于基于解析得到的 各个待执 行任务的调用关系， 利用指定调度组件， 生成所述指定编排调度顺序。 4.根据权利要求1 ‑3任一项所述的系统， 其特征在于， 所述系统还包括： devops平台和 代码管理平台； 所述代码管理平台， 用于 接收包含有各个待执 行任务的数据内容的代码文件； 所述devops平台， 用于从所述代码管理平台拉取所述代码文件， 将所述代码文件打包 为所述指定 镜像文件， 并将所述指定 镜像文件移动至指定存 储路径中； 所述airflow平台， 还用于扫 描所述指定存储路径， 若所述指定存储路径中存在指定镜 像文件， 则从所述指定存 储路径中获取 所述指定 镜像文件。 5.根据权利要求1 ‑3任一项所述的系统， 其特征在于， 所述 airflow平台， 还用于在将每 一待执行任务的数据内容 发送给容器云平台之后， 展示该待 执行任务的执行痕迹； 其中， 每 一待执行任务的执 行痕迹包括该待执 行任务的执 行状态信息 。 6.一种任务编排调度方法， 其特 征在于， 应用于airfl ow平台， 所述方法包括： 加载包含有各个待执行任务的数据内容的指定镜像文件， 对所述指定镜像文件进行解 析处理， 得到各个待 执行任务的数据内容； 其中， 每一待执行任务的数据内容包括该待执行 任务的代码 内容， 以及指定数据内容， 所述指定数据内容包括用于记录在任务执行时所需权　利　要　求　书 1/3 页 2 CN 115391004 A 2被分配计算资源的资源参数 的pod模板文件、 用于进行容器启动的容器启动命令以及在任 务执行时所需的环境变量； 确定各个待执行任务对应的指定编排调度顺序， 并按照所述指定编排调度顺序， 依次 将各个待执行任务的数据内容发送至容器云平台， 以使所述容器云平台每当接收到所述 airflow平台发送的至少一待 执行任务的数据内容时， 针对当前接收到的每一待 执行任务， 利用该待 执行任务的指 定数据内容中的容器启动命令， 启动用于对该待 执行任务进行 处理 的目标容器， 按照该待 执行任务的指 定数据内容中的pod模板文件所记录的资源参数， 为所 述目标容器进行资源分配， 并基于该待执行任务的指定数据内容中的环境变量， 利用所述 目标容器执行该待执行任务对应的代码 内容； 其中， 所述指定编排调度顺序用于表征所述 各个待执 行任务的执 行顺序。 7.一种任务编排调度方法， 其特 征在于， 应用于容器云平台， 所述方法包括： 每当接收到所述airflow平台发送的至少一待执行任务的数据内容时， 针对当前接收 到的每一待执行任务， 利用该待执行任务的指定数据内容中的容器启动命令， 启动用于对 该待执行任务进行处 理的目标容器； 按照该待执行任务的指定数据内容中的pod模板文件所记录的资源参数， 为所述目标 容器进行资源分配； 基于该待执行任务的指定数据内容中的环境变量， 利用所述目标容器执行该待执行任 务对应的代码内容； 其中， 每一待执行任务的数据内容包括该待执行任务的代码内容， 以及指定数据内容， 所述指定数据内容包括用于记录在 任务执行时所需被 分配计算资源的资源参数的pod模板 文件、 用于进行容器启动的容器启动命令以及在任务执行时所需的环境变量； 所述指定编 排调度顺序用于表征 所述各个待执 行任务的执 行顺序。 8.一种任务编排调度装置， 其特 征在于， 应用于airfl ow平台， 所述装置包括： 解析模块， 用于加载包含有各个待执行任务的数据内容的指定镜像文件， 对所述指定 镜像文件进 行解析处理， 得到各个待 执行任务的数据内容； 其中， 每一待 执行任务的数据内 容包括该待执行任务的代码 内容， 以及指定数据内容， 所述指定数据内容包括用于记录在 任务执行时所需被分配计算资源的资源参数的pod模板文件、 用于进行容器启动的容器启 动命令以及 在任务执 行时所需的环境变量； 发送模块， 用于确定各个待执行任务对应的指定编排调度顺序， 并按照所述指定编排 调度顺序， 依 次将各个待执行任务的数据内容发送至容器云平台， 以使所述容器云平台每 当接收到所述airflow平台发送的至少一待执行任务的数据内容时， 针对当前接收到的每 一待执行任务， 利用该待执行任务的指定数据内容中的容器启动命令， 启动用于对该待执 行任务进行处理的目标容器， 按照该待执行任务的指定数据内容中的pod模板文件所记录 的资源参数， 为所述 目标容器进行资源分配， 并基于该待执行任务的指定数据内容中的环 境变量， 利用所述目标容器执行该待 执行任务对应的代码内容； 其中， 所述指 定编排调 度顺 序用于表征 所述各个待执 行任务的执 行顺序。 9.一种任务编排调度装置， 其特 征在于， 应用于容器云平台， 所述装置包括： 启动模块， 用于每当接收到所述airflow平台发送的至少一待执行任务的数据内容时， 针对当前接收到的每一待执行任务， 利用该待执行任务的指定数据内容中的容器启动命权　利　要　求　书 2/3 页 3 CN 115391004 A 3