【KIS — 蔡敏淑 / 金延俊】半导体行业简讯：继TurboQuant和DeepSeek之后，结论已然明确\r
\r
● TurboQuant 的开场白\r
\r
3月25日（当地时间），谷歌在其官方博客上正式发布了TurboQuant算法，声称该算法可以在不降低性能的前提下将键值缓存压缩高达6倍。市场将此解读为内存需求的降低，导致内存半导体股票大幅下跌。然而，这反映出一种误解，即混淆了内存容量和内存带宽的作用。人工智能推理的瓶颈并非内存容量不足，而是内存访问速度和数据传输效率的限制。TurboQuant应该被理解为一种部分缓解这一瓶颈并提高GPU效率的技术，它使得在相同的GPU资源下，单位时间内可以处理更多的令牌。\r
\r
●人工智能推理的结构：预填充和解码\r
\r
LLM推理包含两个阶段：预填充和解码。预填充阶段是计算密集型任务，GPU计算能力限制了其性能；而解码阶段是内存密集型任务，数据传输速度决定了其性能。在解码阶段，每次生成新标记时都需要重复访问现有的键值缓存，因此其结构对内存带宽和访问延迟非常敏感。由于解码阶段很大程度上决定了用户体验到的响应速度，因此它是AI推理优化的核心。\r
\r
● TurboQuant 的实际工作原理\r
\r
TurboQuant 声称可将键值缓存压缩高达 6 倍，这并非指减少所需的内存容量本身，而是指显著降低键值缓存占用的数据量以及由此产生的内存访问负担。这意味着在相同的 HBM 带宽下需要处理的数据量减少。因此，内存访问延迟得以缓解，GPU 等待数据的时间也得以减少。由于 LLM 推理的解码阶段会反复访问键值缓存，因此减小数据量能够直接缓解内存瓶颈。GPU 等待内存响应的时间比例降低，计算资源的利用效率也更高。这提高了 GPU 的实际利用率，并增加了在相同硬件环境下单位时间内可处理的令牌数量（吞吐量）——这也可以被理解为每个令牌成本的降低。\r
\r
●人工智能推理的真正瓶颈：带宽，而非容量\r
\r
市场似乎将TurboQuant解读为降低了内存容量使用率，从而降低了对HBM的需求。然而，人工智能推理的核心瓶颈并非内存容量不足，而是从内存读取数据的速度——即内存带宽和访问延迟。由于GPU计算核心处理数据的速度远超HBM的响应速度，GPU在等待内存数据时会处于等待状态。行业研究表明，在解码阶段，超过50%的注意力计算周期由于内存访问延迟而处于等待状态——这意味着GPU浪费了超过一半的理论性能来等待内存响应。根据谷歌DeepMind于2026年1月发布的研究，英伟达GPU的64位FLOPS在2012年至2022年间增长了约4倍80x ，而同期内存带宽仅增长了约17倍；预计这一差距未来还将继续扩大（arXiv:2601.05047，即将发表于IEEE Computer）。 TurboQuant 将缩小 GPU 计算能力和内存带宽之间的差距，从而提高在相同硬件上单位时间内可处理的令牌数量。这将降低每个令牌的成本，促进更广泛的 AI 应用，吸引更多服务和用户，并最终导致键值缓存消耗增加而非减少。\r
\r
● TurboQuant 无法解决的瓶颈：芯片间通信延迟\r
\r
人工智能推理中还存在另一个瓶颈，而TurboQuant对此却无能为力。大型模型的内存容量往往超过单个GPU的容量，因此需要分布在多个GPU上。在解码阶段，由于模型分布在多个GPU上，每次生成令牌时，GPU之间都必须交换中间计算结果。这些数据传输量虽小，但频率极高，可能导致芯片间通信延迟。为了降低这种延迟，单个GPU必须能够处理更多的参数和键值缓存——这最终需要每个GPU具备更大的HBM容量。在当前人工智能环境中，模型规模和上下文长度不断增长，对更大HBM容量的需求只会更加迫切。英伟达在每一代GPU中持续提升HBM容量，很可能与这种趋势密切相关。\r
\r
● TurboQuant的局限性：仍处于早期验证阶段\r
\r
尽管TurboQuant具有重要的技术意义，但其应用范围和验证方法也存在一些值得考虑的局限性。已发布的性能基准测试仅限于相对简单的测试环境，例如LongBench和Needle-In-A-Haystack等单查询信息检索任务。此外，实验主要在参数量约为80亿的小型模型上进行；在实际工业环境中使用的参数量达数千亿的大规模模型中，是否能够重现相同的效果还有待验证。更重要的是，尚未在快速发展的智能体人工智能（Agentic AI）环境中进行验证。在这些环境中，模型需要在更长的上下文和更复杂的键值缓存结构中执行重复的多步骤判断，从而产生与单响应基准测试中截然不同的内存使用模式。\r
作者声明： 本文转载自第三方，旨在提供资讯参考，并非证券推荐或投资建议。作者对内容的真实性、准确性不承担保证责任。本文不构成任何投资建议或证券推荐。截至发文日，作者与文中提及的标的不存在持仓关系。