OpenAI采用KVCache（键值缓存）新技术，AI模型推理成本降低50%以上
据知情人士透露，在一个此前未公开的案例中，OpenAI工程师通过新发现的优化方法，成功将推理(即运行现有模型)成本降低了一半以上，据推测，OpenAI实现模型推理最新效率提升，可能采用了AI新技术：KVCache（键值缓存）
海量数据603138：自研分布式内存数据库、分布式存储架构，建多级 KV‑Cache键值缓存体系，通过存算分离模式把非热点键值缓存卸载到外部高速存储，优化缓存调度逻辑，减少HBM显存消耗，提升大模型对话、长文档解析场景的服务并发量，降低硬件采购成本，适配国产化及英伟达算力平台，可面向政企、算力中心开展商业化落地。
特别声明:文章内容根据公开信息整理，不作为买卖参考，如有不妥请联系删改。
作者声明： 本文转载自第三方，旨在提供资讯参考，并非证券推荐或投资建议。作者对内容的真实性、准确性不承担保证责任。本文不构成任何投资建议或证券推荐。截至发文日，作者与文中提及的标的不存在持仓关系。