(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210874649.0 (22)申请日 2022.07.25 (71)申请人 北京优合融宜科技有限公司 地址 100094 北京市海淀区唐家岭村南9幢 平房1125号 (72)发明人 李罡 周正茂  (74)专利代理 机构 北京智沃 律师事务所 1 1620 专利代理师 梁晨 (51)Int.Cl. G06F 9/50(2006.01) G06F 3/06(2006.01) G06F 11/34(2006.01) G06K 9/62(2022.01) (54)发明名称 一种内存数据的读写方法以及读写 装置 (57)摘要 本申请公开了一种内存数据的读写方法及 读写装置, 属于数据读写技术领域, 读写方法包 括: 通过试探方式检测当前系统支持的异步输入 输出处理方式; 确定目标处理方式; 对键值型内 存数据进行分类; 针对不同类别的键值型内存数 据, 利用目标处理方式进行多线程并行处理。 在 本申请提供的读写方法中, 通过预先对键值型内 存数据进行分类, 对不同类别的键值型内存数据 利用异步I O处理方式进行多线 程并行处理, 能够 充分利用物理CP U资源, 胜任大批量数据处理, 提 高数据处 理效率。 权利要求书1页 说明书5页 附图3页 CN 114942851 A 2022.08.26 CN 114942851 A 1.一种内存数据的读写方法, 其特 征在于, 包括: 通过试探方式检测当前系统支持的异步输入输出处 理方式; 确定目标处 理方式; 对键值型内存数据进行分类; 针对不同类别的键值型内存数据, 利用所述目标处 理方式进行多 线程并行处 理。 2.根据权利要求1所述的方法, 其特征在于, 所述对键值型内存数据进行分类, 具体包 括: 提取所述键值型内存数据中的键的特 征值; 根据所述键的特 征值对所述键值型内存数据进行分类。 3.根据权利要求1所述的方法, 其特征在于, 所述对键值型内存数据进行分类之后, 还 包括: 对不同类别的键值型内存数据进行加锁处 理。 4.根据权利要求1所述的方法, 其特征在于, 所述对不同类别的键值型内存数据, 利用 所述目标处 理方式进行多 线程并行处 理之后, 还 包括: 对比处理后的时间戳与预先记录的处理前的时间戳是否一致, 在所述处理后的时间戳 与所述处 理前的时间戳 一致的情况 下, 确定当前处 理有效。 5.根据权利要求1所述的方法, 其特 征在于, 还 包括: 采用双主进程模式进行数据处理, 在第一主进程接收到客户端数据时, 将所述客户端 数据的时间戳一并同步给第二主进程, 在所述第一主进程与所述第二主进程中一者存在异 常的情况 下, 另一者继续进行 数据处理。 6.一种内存数据的读写装置, 其特 征在于, 包括: 检测模块, 用于通过 试探方式检测当前系统支持的异步输入输出处 理方式; 第一确定模块, 用于确定目标处 理方式; 分类模块, 用于对键值型内存数据进行分类; 多线程处理模块, 用于针对不同类别的键值型内存数据, 利用所述目标处理方式进行 多线程并行处 理。 7.根据权利要求6所述的装置, 其特 征在于, 所述分类模块包括: 提取子模块, 用于提取 所述键值型内存数据中的键的特 征值; 分类子模块, 用于根据所述键的特 征值对所述键值型内存数据进行分类。 8.根据权利要求6所述的装置, 其特 征在于, 还 包括: 加锁模块, 对不同类别的键值型内存数据进行加锁处 理。 9.根据权利要求6所述的装置, 其特 征在于, 还 包括: 第二确定模块, 用于对比处理后的时间戳与预先记录的处理前的时间戳是否一致, 在 所述处理后的时间戳与所述处 理前的时间戳 一致的情况 下, 确定当前处 理有效。 10.根据权利要求6所述的装置, 其特 征在于, 还 包括: 双主进程处理模块, 用于采用 双主进程模式进行数据处理, 在第一主进程接收到客户 端数据时, 将所述客户端数据的时间戳一并同步给第二主进程, 在所述第一主进程与所述 第二主进程中一 者存在异常的情况 下, 另一者继续进行 数据处理。权 利 要 求 书 1/1 页 2 CN 114942851 A 2一种内存数据的读写方 法以及读写装置 技术领域 [0001]本申请属于数据读写技术领域, 具体涉及一种内存数据的读写方法以及读写装 置。 背景技术 [0002]Key‑Value (键值) 型数据管理技术由于查询速度快、 存放数据量大、 支持高并发, 非常适合通过主键进行查询, 广泛应用于数据缓存领域。 [0003]但目前在数据缓存技术领域, 在一个进程内的数据, 通常采用单一线程管理, 而分 布在进程间的数据采用主 备模式来管理, 即对数据修改性的操作, 如: 新增、 删除和修改, 由 单一线程的程序进程来 实现, 确保了数据的一致性, 而 数据的读取操作, 不会导致数据的变 化, 由多个进程提供服务, 而不同进程对应的数据 节点即分为主节 点和备份节 点, 主备之间 由主节点主动向多个备节点同步数据。 [0004]现有技术采用单一线程的程序进程进行数据处理, 无法充分利用硬件资源, 由于 硬件技术的瓶颈问题, 单一CPU (Central  Processing  Unit, 中央处理器) 的性 能几乎达到 了极限, 因此提升CPU的总体性能依赖于多核、 多CPU分布式架构来解决, 现有技术单一线程 的技术体系, 其数据管控能力被限制在了单一CPU的单核能力上, 无法充分发挥计算机多物 理核心的优势, 在遇到数据量较大的情况时, 不得不依赖于分布式多进程模式来管理数据, 存在数据碎片化导致的数据管理复杂, 特别是访问全量数据困难, 跨进程数据计算困难等 问题, 尤其在面临多进程数据联合性复杂运算且实时性要求较高的情况时, 现有技术很难 独立胜任。 发明内容 [0005]本申请实施例的目的是提供一种内存数据的读写方法以及读写装置, 能够解决目 前单一线程的数据处 理方式难以胜任大 数据量处 理, 处理效率低下的技 术问题。 [0006]为了解决上述 技术问题, 本申请是这样实现的: 第一方面, 本申请实施例提供了一种内存数据的读写方法, 包括: 通过试探方式检测当前系统支持的异步输入输出处 理方式; 确定目标处 理方式; 对键值型内存数据进行分类; 针对不同类别的键值型内存数据, 利用所述目标处 理方式进行多 线程并行处 理。 [0007]第二方面, 本申请实施例提供了一种内存数据的读写装置, 包括: 检测模块, 用于通过 试探方式检测当前系统支持的异步输入输出处 理方式; 第一确定模块, 用于确定所述目标处 理方式; 分类模块, 用于对键值型内存数据进行分类; 多线程处理模块, 用于针对不 同类别的键值型内存数据, 利用所述目标处理方式 进行多线程并行处 理。说 明 书 1/5 页 3 CN 114942851 A 3

.PDF文档 专利 一种内存数据的读写方法以及读写装置

文档预览
中文文档 10 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种内存数据的读写方法以及读写装置 第 1 页 专利 一种内存数据的读写方法以及读写装置 第 2 页 专利 一种内存数据的读写方法以及读写装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:07:42上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。