为什么大模型记不住之前的对话——从无状态推理到长期记忆架构的技术突围
你有没有这样的经历：和一个AI助手聊了很久，详细告诉它你的饮食偏好、工作习惯、兴趣爱好，几周后再打开对话，它却像第一次认识你一样，问你是不是素食者——明明你上次已经说过不下三次。这不是AI"健忘"，而是它从未真正"记住"过任何东西。 ...
技术原理
RAG检索为何频频失准：从向量空间的数学局限到语义鸿沟的技术突围
一个法律科技团队花了六个月搭建的RAG系统，在内部测试中表现完美——准确率超过90%。但上线第一周，用户投诉就涌了进来：系统检索到的条款总是"差那么一点"。问的是"合同解除后赔偿如何计算"，返回的却是"合同解除的条件有哪些"；问的是"违约金上限"，拿到的却是"定金与违约金的区别"。 ...
为什么大模型能从几个例子中学会新任务：从隐式梯度下降到Induction Head的技术解密
2020年5月，OpenAI发布了GPT-3。论文中有一个让研究社区困惑不已的发现：这个拥有1750亿参数的模型，竟然能在没有任何参数更新的情况下，仅凭输入中提供的几个示例，就学会完成全新的任务。 ...
为什么大模型能压缩到原来的1/4却几乎不损失性能：量化技术的数学真相
2022年,GPTQ论文报告了一个令人惊讶的结果:将OPT-175B模型从FP16量化到INT4后,困惑度从8.34上升到8.37,增幅仅为0.36%。这意味着将模型体积压缩75%,性能几乎不损失。 ...
服务网格为何没能成为微服务标配：从性能开销到运维复杂度的十年博弈
2017年，Istio 1.0发布。Google、IBM、Lyft三巨头联手打造的服务网格项目，被寄予了重塑微服务通信的厚望。当时的技术媒体甚至用"微服务的最后一公里"来形容它——仿佛只要装上服务网格，所有分布式系统的难题都将迎刃而解。 ...
WebAssembly为何没能取代JavaScript：从沙箱隔离到DOM边界的性能博弈
2017年3月，WebAssembly在所有主流浏览器中落地。一时间，“JavaScript已死"的论调甚嚣尘上。毕竟，一个能让C++代码在浏览器中以接近原生速度运行的二进制格式，听起来像是动态语言的终结者。 ...
为什么千亿参数的模型只需激活百亿？MoE架构的三十年技术突围
2024年12月，DeepSeek团队发布了一组令人困惑的数字：DeepSeek-V3拥有6710亿参数，但每个token实际只激活370亿参数。这意味着超过94%的参数在任何时刻都处于"休眠"状态。 ...