作者 | 四月 DeepSeek 连自己官方开源的推理代码都能写错， 而且错得相当有规律 。 最近，字节跳动 Seed 团队在测试 DeepSeek-V4 时，发现了一个相当诡异的现象：让模型补全其 FP8 推理内核中的一行代码，标准答案明明是 8，它却频频写成 32。 更奇怪的是，研究人员并没有修改任何关键代码，研究人员没有改动任何一行核心代码，仅仅在前面一段无关紧要的注释里， 逐个增加装饰性的 = 符号，模型的答案竟然就在 8 和 32 之间来回翻转 ，而且每隔4个 Token 就重复一轮。 多敲一个符号就能让模型颠覆判断，这显然不是随机误差。 顺着这条异常线索，字节跳动 Seed 团队联合普林斯顿大学、斯坦福大学及加州大学伯克利分校的研究人员，对 DeepSeek-V4、V4.1 展开了系统测试 ，并在最新论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》(暂译为：《周期性弱点：分块 KV 缓存压缩引发的相位敏感性》），中揭开了 DeepSeek压缩稀疏注意力架构隐藏的技术缺陷 。 在128K长上下文检索实验中， 仅仅因为目标信息所处的 Token 位置不同 ，DeepSeek-V4-Flash 的 检索准确率落差竟高达 40.23 个百分点 。 所幸的是，DeepSeek 团队已经意识到了固定大步长带来的相位缺陷，并在 V4 的后训练版本和 V4.1 明显改善了这一问题 ，但却仍 未能完全消除周期性的性能差异 。 Seed 团队将这一现象称为“相位敏感性”（Phase Sensitivity），可被视为 长文本压缩机制下难以回避的周期性软肋 。 更让业界瞩目的，是掀开这一“隐蔽缺陷”的一作背景。 排在论文核心贡献者首位的，是 字节 Seed 实习生、普林斯顿大学计算机系博士生朱星宇（Xingyu Zhu） 。这位本科毕业于杜克大学、师从机器学习理论大家 Sanjeev Arora 的年轻研究员，此前已有成果入选 ICML 2025 Spotlight，今年还刚刚斩获了 ICLR 2026 RSI Workshop 的最佳论文。 从研究“ 上下文错误如何干扰推理 ”，到这次揪出“ 位置滑动如何瘫痪检索 ”，他切入大模型隐蔽缺陷的视角一脉相承，展现出了极其刁钻的敏锐度。 此外，该论文的结构也颇为特别：整整 65 页的篇幅， 正文内容压缩在 10 页 ，参考文献占3页，剩下的 52 页全是附录。从数十种模型变体的因果干预、注意力头消融，到严格的数学动力学证明，研究团队几乎是把一整套“白盒解剖”的证据都摊在了台面上。 与其说这是一篇模型评测论文，不如说字节 Seed 团队围绕 DeepSeek 的一个异常现象， 完成了一次颇为深入的技术溯源 。 而问题的源头，恰恰直指 DeepSeek 为了压榨长文本计算成本，在 KV Cache 上最为核心的立身之本—— 块压缩稀疏注意力（CSA） 。 1 问题的源头：神鬼二象性 要理解这个 Bug 怎么来的，首先得看 DeepSeek-V4 当初是怎么做长上下文架构设计的。 在传统的标准 Transformer 里，随着输入文本拉长到 128K 乃至百万级别，KV Cache（键值缓存）对显存的吞吐和占用会呈线性暴增。为了 把显存和算力成本压到极致 ，DeepSeek-V4 在架构中交替使用了 两种激进的压缩注意力 ： CSA（压缩稀疏注意力）： 采用长度为 8、步长为 4 的重叠滑动窗口，直接把 KV 数据量砍掉四分之三，后续再通过 Indexer 挑选关键块做稀疏计算； HCA（历史压缩注意力）： 压缩幅度更大，每 128 个 Token 强行合并成一条（无重叠），全局读取不挑。 这套设计在工程落地上的收益极大，是 DeepSeek 能够 低成本硬跑超长文本的核心底座 。但它在数学上，却悄悄打破了 Transformer 一项极其重要的底层基石——平移对称性 。 在原生 Transformer 中，RoPE（旋转位置编码）的点积只计算相对距离。你在句子开头说句“你好”、换个harness框架、或者多打一个空格， Token 之间的相对坐标完全不变，模型注意力分布稳如泰山 。 但由于 DeepSeek-V4 的 CSA 机制每向前走 4 个 Token 就打一次包，就导致序列里的每一个 Token， 凭空多出了一个隐式的物理属性——相位（Phase） 。 所谓相位，就是这个 Token 的绝对位置除以步长 4 取模的余数。在全注意力模型里，一个词排在第几位对编码方式毫无影响。但在分块压缩机制下，模型对不同位置的信息并非一视同仁： 有些位置的信息能被较完整地保留下来，有些则 却可能在压缩过