(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004237.8 (22)申请日 2022.08.22 (71)申请人 广州启量信息科技有限公司 地址 510000 广东省广州市天河区翰景路1 号金星大厦5楼C1 (72)发明人 周佛灵　邹朝军　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 何卿华 (51)Int.Cl. G06T 1/20(2006.01) G06F 9/50(2006.01) (54)发明名称 一种全景视频的生成方法、 装置、 计算机设 备及存储介质 (57)摘要 本申请属于图像处理技术领域， 公开了一种 全景视频的生成方法、 装置、 计算机设备及存储 介质， 该方法包括： 获取鱼眼视频、 当前MVP矩阵 以及球面模型上每个网格顶点的模型坐标和纹 理坐标， 并将鱼眼视频、 当前MVP矩阵以及每个网 格顶点的模型坐标和纹理坐标均输入图形处理 器； 通过图形处理器根据当前MVP矩阵和每个网 格顶点的模型坐标得到每个网格顶点对应的显 示坐标， 并根据每个网格顶点的纹理坐标从鱼眼 视频中的每帧鱼眼图像中获取每个网格顶点对 应的像素值； 通过图形处理器根据每个网格顶点 对应的显示坐标和像素值， 对显示空间进行渲 染， 生成全景视频。 本申请可以达到提高全景视 频的生成效率的效果。 权利要求书2页 说明书9页 附图2页 CN 115456856 A 2022.12.09 CN 115456856 A 1.一种全景视频的生成方法， 其特 征在于， 所述方法包括： 获取鱼眼视频、 当前MVP矩阵以及球面模型上每个网格顶点的模型坐标和纹理坐标， 并 将所述鱼眼视频、 所述当前MVP矩阵以及每个所述网格顶点的模型坐标和纹理坐标均输入 图形处理器； 其中， 所述模型坐标为所述网格顶 点在所述球面模型上的坐标， 所述纹理坐标 为所述网格顶点在所述鱼眼视频中的每帧鱼眼视频图像中对应点的坐标； 通过所述图形处理器根据 所述当前MVP矩阵和每个所述网格顶点的模型坐标得到每个 所述网格顶点对应的显示坐标， 并根据每个所述网格顶点的纹理坐标从所述鱼眼视频中的 每帧鱼眼图像中获取每个所述网格顶点对应的像素值； 其中， 所述显示坐标为所述网格顶 点在显示空间中对应点的坐标； 通过所述图形处理器根据每个所述网格顶点对应的显示坐标和像素值， 对所述显示空 间进行渲染， 生成全景视频。 2.根据权利要求1所述的方法， 其特征在于， 所述获取鱼眼视频、 当前MVP矩阵以及球面 模型上每个网格顶点的模型坐标和纹 理坐标， 包括： 根据用户输入的视频网址信息获取鱼眼视频； 获取当前MVP矩阵， 并获取球面模型 上每个网格顶点的模型坐标和纹 理坐标。 3.根据权利要求2所述的方法， 其特 征在于， 所述获取当前MVP矩阵， 包括： 获取预设的模型矩阵、 观察相机矩阵及透视投影矩阵， 根据 所述模型矩阵、 所述观察相 机矩阵及所述透 视投影矩阵得到当前MVP矩阵。 4.根据权利要求2所述的方法， 其特征在于， 所述获取球面模型上每个网格顶点的模型 坐标和纹 理坐标， 包括： 将所述球面模型的经纬度范围分别划分为预设数量的等分， 得到多个网格， 获取所述 多个网格中每 个网格顶点的经纬度坐标； 将每个所述网格顶点的经纬度坐标转换为所述网格顶点的模型坐标， 并根据每个所述 网格顶点的经纬度坐标计算所述网格顶点的纹 理坐标。 5.根据权利要求1所述的方法， 其特征在于， 所述通过所述图形处理器根据每个所述网 格顶点对应的显示 坐标和像素值， 对所述显示空间进行渲染， 生成全景视频， 包括： 通过所述图形处理器根据每个所述网格顶点对应的显示坐标确定每个所述网格顶点 在显示空间中的对应点， 使用每个所述网格顶点对应的像素值对所述网格顶点在显示空间 中的对应点进行渲染； 根据每个所述网格顶点在显示空间中的对应点渲染后的像素值， 通 过插值法得到各 所述网格顶点在显示空间中的对应点之间的各点对应的像素值； 根据各所述网格顶点在显示空间中的对应点之间的各点对应的像素值对各所述网格 顶点在显示空间中的对应点之间的各点进行渲染， 生成全景视频。 6.根据权利要求1至 5任一项所述的方法， 其特 征在于， 所述方法还 包括： 获取观察方向变化信息， 根据所述观察方向变化信息生成新的MVP矩阵； 将新生成的MVP矩阵设为当前MVP矩阵输入所述图形处理器， 进入所述通过所述图形处 理器根据所述当前MVP矩阵和每个所述网格顶 点的模型坐标得到每个所述网格顶点对应的 显示坐标的步骤。 7.根据权利要求6所述的方法， 其特征在于， 所述获取观察方向变化信息， 根据所述观 察方向变化信息生成新的MVP矩阵， 包括：权　利　要　求　书 1/2 页 2 CN 115456856 A 2在鼠标位于所述显示空间内且检测到所述鼠标的左键处于持续按下状态时， 获取所述 鼠标的移动方向 向量作为所述观察方向变化信息； 将所述移动方向 向量叠加到当前的相机观察方向上， 得到新的相机观察方向； 根据所述 新的相机观察方向对所述当前MVP矩阵进行 更新， 生成新的MVP矩阵。 8.一种全景视频的生成装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取鱼眼视频、 当前MVP矩阵以及球面模型上每个网格顶点的模型 坐标和纹理坐标， 并将所述鱼眼视频、 所述当前MVP矩阵 以及每个所述网格顶 点的模型坐标 和纹理坐标均输入图形处理器； 其中， 所述模型坐标为所述网格顶点在所述球面模型上 的 坐标， 所述纹理坐标为所述网格顶点在所述鱼眼视频中的每帧鱼眼视频图像中对应点的坐 标； 数据处理模块， 用于通过所述图形处理器根据所述当前MVP矩阵和每个所述网格顶点 的模型坐标得到每个所述网格顶点对应的显示坐标， 并根据每个所述网格顶点的纹理坐标 从所述鱼眼视频中的每 帧鱼眼图像中获取每个所述网格顶点对应的像素值； 其中， 所述显 示坐标为所述网格顶点在显示空间中对应点的坐标； 视频渲染模块， 用于通过所述图形处理器根据每个所述网格顶点对应的显示坐标和像 素值， 对所述显示空间进行渲染， 生成全景视频。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7中任一项 所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115456856 A 3