配资门户官方网尚乘英港申请基于动态显存压缩与内存异构的大语言模型推理加速方法及系统专利, 实现显存资源的智能管理

金融界2025年7月25日消息，国家知识产权局信息显示，杭州尚乘英港数字科技有限公司申请一项名为“基于动态显存压缩与内存异构的大语言模型推理加速方法及系统”的专利，公开号CN120371524A配资门户官方网，申请日期为2025年04月。

专利摘要显示，本发明公开了一种基于动态显存压缩与内存异构的大语言模型推理优化方法及系统，通过整合KVCache的动态压缩策略与内存并行架构，实现显存资源的智能管理。该方法包含：1）实时分析KVCache的时空特征，自适应选择量化压缩、稀疏化或低秩分解算法，基于注意力头重要性评分进行分层存储，核心头部保留高精度，次要头部实施低比特量化；2）将压缩后的非活跃数据划分为多个数据块存储于系统内存，根据物理通道数量建立并行数据通道组，在加载时通过多通道并发读取压缩块并利用GPU张量核心加速稀疏矩阵并行解压；3）构建KVCache复用机制与并行通道，采用硬件加速压缩与异步流水线机制，使压缩/解压过程与模型计算并行化。

天眼查资料显示，杭州尚乘英港数字科技有限公司，成立于2024年，位于杭州市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本1万人民币。通过天眼查大数据分析，杭州尚乘英港数字科技有限公司财产线索方面有商标信息1条，专利信息3条。

本文源自：金融界配资门户官方网

辉煌优配下载提示：文章来自网络，不代表本站观点。