https://answer.freetools.me/tags/radixattention/ Recent content in RadixAttention on Answer Hugo -- 0.152.2 zh-cn Mon, 09 Mar 2026 07:03:42 +0800 https://answer.freetools.me/prefix-caching-%E5%A6%82%E4%BD%95%E8%AE%A9%E9%87%8D%E5%A4%8D%E6%8F%90%E7%A4%BA%E8%AF%8D%E5%9C%A8%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E4%B8%AD%E9%9B%B6%E6%88%90%E6%9C%AC%E9%80%9A%E8%BF%87/ Mon, 09 Mar 2026 07:03:42 +0800 https://answer.freetools.me/prefix-caching-%E5%A6%82%E4%BD%95%E8%AE%A9%E9%87%8D%E5%A4%8D%E6%8F%90%E7%A4%BA%E8%AF%8D%E5%9C%A8%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E4%B8%AD%E9%9B%B6%E6%88%90%E6%9C%AC%E9%80%9A%E8%BF%87/ 深入解析大模型推理中的 Prefix Caching 技术。从 KV Cache 的工作原理出发，系统阐述 vLLM 的 Block-Level Hashing 与 SGLang 的 RadixAttention 两种技术流派，分析 OpenAI 与 Anthropic 的 Prompt Caching 商业化实践，探讨 NeurIPS 2025 论文提出的 Learned Prefix Caching 智能淘汰策略，并提供提示词设计优化指南。涵盖缓存命中率、TTFT 降低 80%、成本节省 90% 等核心性能数据。