# Similarity of Neural Network Representations Revisited：中文精读笔记

- **作者**：Simon Kornblith、Mohammad Norouzi、Honglak Lee、Geoffrey Hinton（Google Brain）；ICML 2019。
- **版本**：arXiv:1905.00414v4，2019-07-19；本次获取与研读：2026-09-20。
- **材料**：[论文主页](https://arxiv.org/abs/1905.00414v4)、[本地原文 PDF](../source/paper.pdf)、[作者主 TeX](../source/tex/files/main.tex)。同版本 PDF 与 TeX 均已下载；正文 1–7 节、附录 A–F 全部纳入阅读，关键图表用最终 PDF 核验。参考文献用于定位背景，未逐篇阅读被引论文。
- **页码约定**：以下均为 PDF 文件从 1 开始的页码；正文 pp.1–8，参考文献 pp.9–11，附录 pp.12–20。

## 论文总览

本文研究如何比较两个网络对**同一批样本**形成的内部表征。它把问题从“找一组线性变换使神经元对齐”转为“两个网络是否认为同样的样本彼此相似”，采用中心化核对齐（Centered Kernel Alignment，CKA）比较样本 Gram 矩阵。

最关键的贡献是对“什么变化应该被相似度忽略”的论证：神经元置换、正交旋转和整体缩放应被忽略；任意可逆线性变换会抹掉方向间相对尺度，甚至使宽表征上的指标退化。线性 CKA 保留大方差方向的权重，且无须做 SVD。CKA、核对齐和 RV 系数有既有统计学历史，不能把论文的贡献写成从零发明这一统计量；贡献在于将其用于网络表征比较、阐明与 CCA 的关系并系统验证。

最直接的实验是同构 CNN 的层匹配：线性 CKA 为 **99.3%**，线性回归为 **45.4%**，平方相关形式的 CCA 为 **10.6%**。这是“找回对应层”的准确率，不是 CIFAR-10 分类准确率（Sec.6.1，p.6，Table 2）。Transformer 附录显示结果依赖取表征的位置，不能概括为 CKA 在所有场景都胜过 CCA。

## 结构地图

| 原文章节 | 论证作用 | PDF 定位 |
|---|---|---|
| 1 Introduction / Problem Statement | 问题、输入与贡献 | pp.1–2 |
| 2 What Should Similarity Be Invariant To? | 不变性选择与退化定理 | pp.2–3；Theorem 1，Fig.1 |
| 3 Comparing Similarity Structures | Gram、HSIC、CKA 与核选择 | pp.3–4；Eqs.(1)–(4) |
| 4 Related Similarity Indexes | 回归、CCA、SVCCA、PWCCA 等 | pp.4–5；Table 1，Eqs.(5)–(10) |
| 5 Linear CKA versus CCA and Regression | 谱解释与统一关系 | pp.5–6；Eqs.(11)–(14) |
| 6.1 A Sanity Check for Similarity Indexes | 同构网络层匹配 | p.6；Fig.2，Table 2 |
| 6.2 Using CKA to Understand Network Architectures | 深度、残差、跨架构和宽度 | pp.6–7；Figs.3–6 |
| 6.3 Similar Representations Across Datasets | 跨训练数据集比较 | p.8；Fig.7 |
| 6.4 Analysis of the Shared Subspace | 共享的主要谱方向 | p.8；Fig.8 |
| 7 Conclusion and Future Work | 贡献与开放问题 | p.8 |
| A / B | 退化与正交化证明 | p.12 |
| C CCA and Linear Regression | 回归、CCA、PWCCA 关系推导 | pp.12–14 |
| D Notes on Other Methods | Canonical ridge、Procrustes | pp.14–16 |
| E Architecture Details | Tiny、Plain、Width 架构 | p.17；Tables E.1–E.3 |
| F Additional Experiments | Transformer 与补充控制 | pp.18–20；Table F.1，Figs.F.1–F.8 |

## 一：动机——为什么“能线性互相转换”还不够？

直接比较神经元有坐标依赖：两个网络即使只交换神经元顺序，逐元素比较也可能认为差别很大。CCA 允许两侧线性重参数化，解决了坐标问题，却同时消除了各方向的相对尺度。

作者强调两个理由。第一，梯度下降在不同特征尺度下的学习动态不同；保持函数输出的重参数化，并不保证训练过程相同。第二，不同随机初始化的网络有相近的大主成分（Fig.1，p.2），相对尺度可能承载稳定结构。完全白化会把强信号方向与微弱方向置于相同地位。

### 1.1 不变性与代价

| 变化 | 线性 CKA | 本文的解释 |
|---|---|---|
| 神经元置换、正交旋转 | 不变 | 消除坐标选择；保留样本内积 |
| 整个表征乘同一个正标量 | 不变 | 不应仅因整体放大而变得不相似 |
| 单独缩放各特征 | 一般改变 | 保留方向间的相对重要性 |
| 任意可逆线性变换 | 一般改变 | 避免过强不变性造成信息丢失 |

若既要求任意正交变换不变，又要求任意逐特征缩放不变，由变换矩阵的 SVD 就得到任意可逆线性变换不变；不能同时保留所有这些要求并指望指标仍对谱尺度敏感。

### 1.2 Theorem 1 的精确条件与证明

原命题：令 $X,Y\in\mathbb R^{n\times p}$，二者都满足 $\operatorname{rank}(X)=\operatorname{rank}(Y)=n$；若第一参数对任意可逆右乘不变，则对任意 $Z$，有 $s(X,Z)=s(Y,Z)$（Sec.2.1，p.2；Appendix A，p.12）。

证明核心：将 $X,Y$ 的行分别补成 $p\times p$ 可逆矩阵 $X',Y'$，设 $A=(X')^{-1}Y'$，得到 $XA=Y$。任何能被不变变换相连的表征都落入同一等价类，指标无从区分。

**条件不能省略**：仅有 $p\ge n$ 并不保证满行秩。另一个细节是正文预设列中心化后秩最多为 $n-1$，不能直接同时声称“已中心化且秩为 $n$”。本次分析的解释是先限制到 $\mathbf1^\perp$ 的 $n-1$ 维有效样本空间，再应用同样论证；两个表征若都张满该空间，CCA 的有效典型相关会全部为 1。这里的 $n-1$ 解释是对原定理与中心化约定的衔接，不是原文另一个定理。CKA 避开的是这个不变性退化，不是保证任何高维小样本估计都可靠。

## 二：方法——从样本关系到归一化谱重合

### 2.1 输入、输出与计算流程

| 符号 | 含义 / 维度 |
|---|---|
| $X,Y$ | 同一批、同一顺序样本的两组激活，$n\times p_1$ 与 $n\times p_2$ |
| $H=I_n-\mathbf1\mathbf1^T/n$ | $n\times n$ 中心化矩阵 |
| $K,L$ | $n\times n$ 样本核矩阵，线性核时为 $XX^T,YY^T$ |
| $Q_X,Q_Y$ | 各自列空间的正交基，秩亏时使用有效秩 |
| $\lambda_X^i,\mathbf u_X^i$ | $XX^T$ 的特征值及单位特征向量 |
| $\|\cdot\|_F$ | Frobenius 范数；平方为元素平方之和 |

流程：固定模型与评估样本 → 提取选定层的激活 → 按特征减去样本均值 → 计算两个样本关系矩阵 → 中心化与归一化内积 → 得到一个标量。对所有层对重复可得到热图。CKA 是训练后分析量，不是本文提出的新训练损失，也不会直接输出神经元的一一映射。

### 2.2 样本比较与特征比较的等价性

$$
\langle XX^T,YY^T\rangle_F
=\operatorname{tr}(XX^TYY^T)
=\|Y^TX\|_F^2.
$$

左侧把两张“哪些样本相似”的矩阵对齐；右侧累加所有跨网络特征对的内积平方。这个恒等式使不同宽度可比较，也允许按维度选择更经济的计算方式（Eq.(1)，p.3）。它不是先对神经元进行匹配再打分。

### 2.3 HSIC 与 CKA

对于 $K_{ij}=k(x_i,x_j)$、$L_{ij}=l(y_i,y_j)$，原文使用的经验 HSIC 为

$$
\operatorname{HSIC}(K,L)=\frac{\operatorname{tr}(KHLH)}{(n-1)^2}.
$$

归一化后

$$
\operatorname{CKA}(K,L)=
\frac{\operatorname{HSIC}(K,L)}{
\sqrt{\operatorname{HSIC}(K,K)\operatorname{HSIC}(L,L)}}.
$$

令 $K_c=HKH,L_c=HLH$，它就是 $\langle K_c,L_c\rangle_F/(\|K_c\|_F\|L_c\|_F)$：中心化 Gram 矩阵的余弦相似度。对非退化半正定核矩阵，此形式在 $[0,1]$ 内；零分母时未定义。HSIC 的独立性解释需要相应核与总体条件，不能把有限样本的低线性 CKA 直接解释成统计独立，更不能把 CKA 当作互信息（Sec.3，pp.3–4）。

对已经列中心化的激活，线性 CKA 简化为

$$
\boxed{\operatorname{CKA}_{\rm linear}(X,Y)=
\frac{\|Y^TX\|_F^2}{\|X^TX\|_F\|Y^TY\|_F}.}
$$

特征形式不需要 SVD，若显式计算，时间量级为 $O(n(p_1^2+p_2^2+p_1p_2))$；样本 Gram 形式约为 $O(n^2(p_1+p_2))$，但要存储 $n\times n$ 矩阵。这是本次复杂度分析，论文没有给出统一运行时间 benchmark。

RBF 核为 $\exp(-\|x_i-x_j\|^2/(2\sigma^2))$；作者对每种表征以样本距离中位数的某个比例选择 $\sigma$。其整体缩放不变性依赖带宽同步缩放，固定绝对带宽时不能无条件宣称该性质。本文多数实验线性核与 RBF 接近，但具体结果对带宽仍有差异。

### 2.4 CCA、回归、SVCCA、PWCCA 的角色

在满列秩且 $p_1\le p_2$ 的记号下，

$$
R^2_{\rm CCA}=\frac{\|Q_Y^TQ_X\|_F^2}{p_1},\qquad
\bar\rho_{\rm CCA}=\frac{\|Q_Y^TQ_X\|_*}{p_1},
$$

其中典型相关 $\rho_i$ 是 $Q_X^TQ_Y$ 的奇异值，核范数 $\|\cdot\|_*$ 是奇异值之和。秩亏实现须用有效基与相应维数，不能直接求奇异的协方差逆。

线性回归以 $Y$ 拟合 $X$：

$$R^2_{\rm LR}=1-\frac{\min_B\|X-YB\|_F^2}{\|X\|_F^2}
=\frac{\|Q_Y^TX\|_F^2}{\|X\|_F^2}.$$

它只对白化预测端 $Y$ 的任意基变换不变，本身不对称。SVCCA 先保留达到累计解释方差阈值的主成分再 CCA；只有保留子空间不变时才继承可逆线性不变性。PWCCA 用典型变量在原特征上的绝对投影构造权重，通常不对称，也不是正交不变指标。附录 C.3 证明，将 PWCCA 的投影及相关系数都平方后，恰可还原上述回归统计量；这不等于原 PWCCA 与回归完全相同（Table 1，p.4；Appendix C，pp.12–14）。

### 2.5 谱视角：CKA 到底保留了什么？

写 $X=U_X\Sigma_XV_X^T$，$Y=U_Y\Sigma_YV_Y^T$，$\lambda$ 是奇异值的平方，则

$$
R^2_{\rm CCA}=\frac{1}{p_1}\sum_{i,j}\langle\mathbf u_X^i,\mathbf u_Y^j\rangle^2,
$$

$$
\operatorname{CKA}_{\rm linear}=
\frac{\sum_{i,j}\lambda_X^i\lambda_Y^j
\langle\mathbf u_X^i,\mathbf u_Y^j\rangle^2}
{\sqrt{\sum_i(\lambda_X^i)^2}\sqrt{\sum_j(\lambda_Y^j)^2}}.
$$

CCA 衡量子空间重合，对不同谱方向等权；CKA 对两侧都按特征值加权。它并不是“每个 canonical correlation 简单乘一个权重”的逐项同一公式，而是在样本空间的特征向量两两内积上建立的对应关系（Eqs.(13)–(14)，p.5）。

**教学例子（非论文实验）**：取两个正交、零均值样本向量 $u,v$，令 $X=[10u,v]$、$Y=[u,10v]$。二者有完全相同的列空间，所以 CCA 为 1；但线性 CKA 为 $200/10001\approx0.0200$。它们主要区分样本的方向不同，正是 CKA 要保留的差别。高 CCA 不等于保留相对方差结构。

### 2.6 附录推导与原文疑似笔误

附录 B 说明，对输入先取正交基后应用正交不变指标，会得到可逆线性不变性；因此“先白化再 CKA”改变了分析问题。原 Eq.(11) 为 $R^2_{\rm CCA}=\operatorname{CKA}(Q_XQ_X^T,Q_YQ_Y^T)\sqrt{p_2/p_1}$，异维情况下不能省掉该因子。

**Eq.(12) 核对（p.5）**：PDF 与 TeX 均把回归关系的因子写成 $\sqrt{p_1}\|X^TX\|_F/\|X\|_F^2$。按其已定义的 $Q_Y\in\mathbb R^{n\times p_2}$，$\|Q_Y^TQ_Y\|_F=\sqrt{p_2}$，故应为

$$R^2_{\rm LR}=\operatorname{CKA}(XX^T,Q_YQ_Y^T)
\frac{\sqrt{p_2}\|X^TX\|_F}{\|X\|_F^2}.$$

这是本次代数核验发现的疑似笔误；$p_1=p_2$ 时无差别。一般秩亏情况用 $\sqrt{\operatorname{rank}(Y)}$。本笔记与幻灯片使用直接投影公式，避免将原式错误因子传播到后续解释。

附录 D.1 的 canonical ridge 用 $\lambda/(\lambda+\kappa)$ 平滑控制白化程度。适当归一化后，零正则可还原 CCA；单侧大正则配合相应归一化可还原回归；双侧共同大正则、使用可分离归一化，可趋于线性 CKA。**归一化方式不同，极限结论不能混用**。作者认为正则超参数增加了探索分析的选择成本，预测映射的交叉验证最优也不自动等于相似度解释最优。

附录 D.2 在等宽正交 Procrustes 设置中，通过最大化 $\operatorname{tr}(Y^TXQ)$ 得到 $\|Y^TX\|_*$；CKA 的分子则是平方 Frobenius 范数。因此两者对奇异值的聚合方式不同，不能直接互换。

## 三：实验——先区分问题、数据与指标

| 实验 | 模型 / 样本 | 评价目的与协议 |
|---|---|---|
| Sec.6.1 CNN sanity check | 10 个 Tiny-10；CIFAR-10 **训练集**激活 | 对每层寻找另一模型的最相似层；排除 logits；不同模型及层间平均 |
| Sec.6.2 深度 | Plain-10/18/34/66；CIFAR-10 **测试集** | 同网层对 CKA；逐层训练 $\ell^2$ 正则 logistic probe 辅助核验解释 |
| Sec.6.2 残差 / 跨架构 | ResNet-62，以及 Plain 与不同 ResNet | 测试集激活；检查残差位置与架构层对应 |
| Sec.6.2 宽度 | Width-$n$，最大宽度 4096；10 个模型 | 同宽异初始化及对最宽模型；误差带为 jackknife 标准误 |
| Sec.6.3 跨数据集 | CIFAR-10 / CIFAR-100 训练模型与未训练模型 | 分别在同一 CIFAR-10 或同一 CIFAR-100 测试输入上比较 |
| Sec.6.4 共享子空间 | Tiny-10 的 conv1、conv4、平均池化层 | 看另一模型 Gram 对本模型特征向量的缩放与旋转 |
| Appendix F.1 Transformer | WMT18 英德翻译；10 个编码器、45 对 | 12 个交替 Attention/FFN 子层，4 个取激活位置 |

Tiny-10 的通道依次使用 16、32、64，含全局平均池化；平均 CIFAR-10 分类准确率为 89.4%。Plain 模型使用 96、192 通道。宽度实验是各卷积层统一宽度的另一系列，不能直接当成 Tiny-10 的所有层等比缩放（Appendix E，p.17）。正文与附录没有完整列出各实验所有优化器、学习率、epoch、随机种子、数据增强和 probe 正则搜索细节，本笔记不补造。

层匹配指标越高越符合作者的“同构网络应找回同一层”的 sanity check；它是合理的检验假设，并非所有语义相似性的独立真值。CKA 值高表示指定样本和核下关系结构更一致，不是性能越高。

## 四：结果——按原文问题逐项阅读

### 4.1 同构 CNN：对应层结构清晰（Sec.6.1）

| 指标 | 层匹配准确率（%，越高越好） |
|---|---:|
| CCA：平均相关 | 1.4 |
| CCA：平均平方相关 | 10.6 |
| SVCCA：平均相关 | 9.9 |
| SVCCA：平均平方相关 | 15.1 |
| PWCCA | 11.1 |
| 线性回归 | 45.4 |
| 线性 HSIC | 22.2 |
| 线性 CKA | **99.3** |
| RBF CKA，带宽系数 0.2 | 80.6 |
| RBF CKA，带宽系数 0.4 | 99.1 |
| RBF CKA，带宽系数 0.8 | **99.3** |

来源：Table 2，p.6。SVCCA 阈值为 0.99；PWCCA 和回归以 $S+S^T$ 对称化。原表以 jackknife z-test、$p<0.05$ 判断与最佳是否有显著差别，线性 CKA 与 RBF 0.4/0.8 都属于未显著差于最佳的组，不能把 99.3 对 99.1 写成有统计支持的优胜。线性 CKA 对回归提高 **53.9 个百分点**。

![原图2：同构网络层相似度](figures/tiny_cifar_comparison.png)

原 Fig.2，p.6。横纵轴是两网络层号，各面板比较不同指标；亮色表示更高相似度。CKA 面板的高相似度带沿对应层分布。不同面板色条不同，不能仅凭视觉亮度直接比较不同指标的数值。

### 4.2 深度、残差与跨架构（Sec.6.2）

![原图3：深度与线性探针](figures/training_pathology_log_reg.png)

原 Fig.3，p.7。上排是各模型内部层对 CKA，下排为同一模型各层的 logistic probe 分类准确率。图中四个单独模型的最终准确率依次为 **94.1%、95.0%、93.2%、91.9%**。深度增加 2 倍改善性能，8 倍模型超过一半后层彼此相近且 probe 性能较早平台化，支持这些后层没有持续改善可线性利用的表示。

不要与 Appendix E 的跨模型平均准确率混用：Plain-10/18/34/66 均值为 **93.9%、94.8%、93.7%、91.3%**（Table E.2，p.17）。图中样例与均值不同不是数据矛盾。CKA 与 probe 相互印证，但不能单凭此证明删层后可保持性能，需要干预实验。

Fig.4（p.7）中的 ResNet-62 有格子结构：残差加法后的激活更相近，块内激活表现不同；同分辨率 block group 更相近。这里没有观察到 Plain 深网相同的退化形态，不等于证明所有 ResNet 都不会退化。

Fig.5（p.7）比较 Plain-10/18 与 ResNet-14/32。相似带支持作者“更深网络像在旧层之间插入新层”的解释；这是表征对应的可视化，不是权重相同或模块可无损替换的证据。附录 F.5（p.20，Fig.F.8）在 **训练集** 上比较 Tiny-10 与 ResNet-14，CKA 比其他指标显示更清晰对应，使用训练集是为了给对样本数敏感的 CCA 系列更好的条件。

### 4.3 宽度：早层先饱和（Sec.6.2）

![原图6：宽度与相似性](figures/layers_paper.png)

原 Fig.6，p.7。横轴为宽度，纵轴为线性 CKA；颜色区分 conv1–conv8。左面板与宽度 4096 的网络比，右面板与同宽异初始化网络比。总体上网络越宽越相似，早层达到高相似度需要的宽度更小；网络通常更像同宽模型，而非最宽模型。误差带为 jackknife 标准误。这里是有限宽度实证趋势，不是“无限宽必然学习唯一表征”的证明，亦未给每个点的独立数表，不伪造曲线精确值。

### 4.4 跨数据集：训练形成相似早层（Sec.6.3）

![原图7：训练数据集与评估数据集](figures/cross_dataset.png)

原 Fig.7，p.8。横轴为对应层号，纵轴为 CKA；两面板分别用 CIFAR-10、CIFAR-100 测试输入。曲线区分两网络各自训练数据集及是否未训练。跨数据集训练模型的早层相近、晚层差异增大，与未训练模型的相似度下降更明显，支持相似早层包含训练所形成的结构。

这里每次比较仍把**同一批输入**送入两网络；不是将 CIFAR-10 的样本逐行对应到 CIFAR-100 的不同样本。两个数据集有相近图像域，不能外推至任意领域。图注写 10 个各类型模型、45 pairs，但没有逐类展开跨类型模型的配对规则，不将其擅自重述为穷举 100 个跨类型组合。

### 4.5 共享子空间主要在大特征值方向（Sec.6.4）

![原图8：共享子空间的谱结构](figures/eigs.png)

原 Fig.8，p.8。各行是 conv1、conv4 与平均池化层；横轴特征向量索引从大数字向 0 递减，靠右是大的谱方向。左列比较 $\|XX^T u_X^i\|$（本模型特征值）与 $\|YY^T u_X^i\|$；右列为 $u_X^i$ 与 $YY^T u_X^i$ 的方向余弦。大特征值对应方向的缩放与方向更一致，小方向差异较大。

64 维的平均池化层中，共享子空间约为 **10 维**，与 CIFAR-10 类数相近。这支持 CKA 的大方差加权解释；“约 10 维”是图和作者的经验描述，既不是全部 64 维都对齐，也不是对所有分类网络成立的维数定理。

### 4.6 Transformer：取激活位置决定结论（Appendix F.1）

训练数据为 WMT18 英德翻译的 Europarl v7、Common Crawl、News Commentary v13。评估使用 newstest2013 的 3,000 句、75,804 个 token，忽略句末 token。编码器包含 **12 个 Attention/FFN 交替子层**，不是 12 个完整 Attention+FFN 块。每个子层比较 Layer Norm 后、逐通道 Scale 后、Attention/FFN 后、Residual 后四处激活。

| 指标（摘录） | Layer Norm | Scale | Attn/FFN | Residual |
|---|---:|---:|---:|---:|
| CCA 平方相关 | 87.8 | 87.8 | 95.3 | 95.2 |
| PWCCA | 88.5 | 88.9 | 96.1 | 87.0 |
| 线性回归 | 78.1 | 83.7 | 76.0 | 36.9 |
| 线性 CKA | 78.6 | 95.6 | 86.0 | 73.6 |
| RBF CKA 0.4 | 92.3 | 96.5 | 89.1 | 98.1 |

来源：Table F.1，p.18；单位为层匹配准确率 %，并非翻译质量。此处不重现原表显著性加粗，不能凭小差异断言显著。所有受测指标都获得非平凡的匹配能力。CCA 在 Scale 前后给相同结果，恰是它忽略逐通道缩放的结果；CKA 可显露跨网络一致的 Attention/FFN 棋盘结构。与此同时，线性 CKA 在 Residual 后远低于 CCA，必须与主文 CNN 的成功同时理解。

### 4.7 其他控制实验（Appendix F.2–F.4）

- **SVCCA 阈值**：Fig.F.3（p.19）试了多种阈值，仍未恢复该 CNN 的层结构；这排除“仅仅把 0.99 换成另一测试阈值就能解决”的解释，不证明任何变体都不行。
- **初始化**：Figs.F.4–F.5（p.19）显示未训练网络也有由架构带来的相似性结构，与训练网络比较时模式不同；因此不能只看高 CKA 就断言学到了相同任务知识。
- **Batch normalization**：Fig.F.6（p.19），有/无 BN 的网络仍有相近表征，差异较明显处在最后卷积层。两组分别优化超参数，平均准确率为 **93.9% / 91.5%**，不能把此作为严格只改 BN 的因果消融。
- **类内比较**：Fig.F.7（p.19）按 CIFAR-10 每类分别计算 CKA 后取均值，与全样本热图相近。它表明观察到的结构不只靠类别间分离解释；类内结果依然不能证明所有语义因素已对齐。

## 五：结论——什么时候这个指标有解释力？

可靠贡献是：给出不变性过强导致退化的理论说明，用中心化样本几何提供可计算的替代指标，并用层匹配、架构、宽度和跨数据集实验展示其解释力。最重要的理解是**相似度定义本身就选择了哪些信息值得保留**。

需要保留的边界：

1. 高 CKA 是指定输入集和核下的相似，不保证模型功能、错误模式、因果机制或分布外行为相同。
2. 线性 CKA 更关注大方差方向，这是有证据的设计选择，也可能弱化低方差但任务关键的因素。
3. 没有任意可逆变换不变性退化，不代表没有有限样本、维度或核带宽影响；本文没有证明普遍统计可靠性。
4. sanity check 依赖“同构对应层更相似”的假设；Transformer 已说明不存在不依赖取层位置的统一赢家。
5. 宽度趋势、深度冗余、约 10 维共享空间都受实验范围约束；后续权重合并、剪枝、迁移需要另外验证。

**本次分析的使用建议**：先确定样本单位和激活位置，确保行对应，明确中心化与是否池化；报告多随机种子及样本敏感性；同时检查 Gram 谱或线性 probe，以免单个标量遮蔽机制。不要默认对每个特征标准化到单位方差，因为那会改变本文刻意保留的尺度结构。对 Transformer 必须注明是在 Layer Norm、缩放、Attention/FFN 还是残差之后取值。上述建议是依据论文的应用推论，不是作者已经执行的完整新实验。

可讨论的问题：改变核或谱权重能否更好反映具体任务？如果两层高 CKA，实际替换模块能否保留行为？低方差方向中的信息会不会被线性 CKA 忽略？这些都是开放问题，不能写成本文的已验证结论。