Category: 产品研究

摘要 梯度检查点通过在反向传播期间重新计算前向激活，将训练数十亿参数模型的内存需求压缩到可接受的范围。然而，这一“以计算换内存”的策略在自动微分图中创造了一个独特的信任缺口：检查点区域内的中间张量在反向传播时被重建，而重建过程所依赖的钩子（hooks）和函数注册机制完全暴露在训练框架的插件生态中。攻击者可在 torch.utils.checkpoint 包装的模块上注册恶意反向钩子，劫持重计算路径，在梯度流经检查点边界时捕获模型权重梯度，进而通过梯度反演重建私密训练数据或提取模型参数。2024年字节跳动前实习生利用Hugging Face检查点加载函数漏洞篡改模型权重、注入后门代码的事件，以及PyTorch Lightning中 _instantiator 超参数绕过 weights_only=True 防护的漏洞，共同揭示了检查点机制从“内存优化工具”到“攻击入口”的范式转变。 自动微分 标准反向传播的内存代价 训练大型神经网络时，反向传播需要前向传播过程中产生的中间激活值来计算梯度。 以一个包含 L 层的Transformer为例，标准训练需要存储所有 L 层的激活值，内存占用随层数线性增长。对于 GPT-3 级别的模型（96层，隐藏维度12288），仅激活值的内存需求就超过 100 GB，远超单张 GPU 的显存容量。 梯度检查点的数学原理 梯度检查点（Gradient Checkpointing）由陈天奇等人在2016年提出，核心思想是将网络划分为若干段，每段仅在内存中保留边界处的激活值。在反向传播需要某段内部的中间激活时，从最近的检查点边界重新执行前向传播来重建这些激活。 数学上，对于第 i 段，前向传播计算： y_i = f_i(x_i; θ_i) 其中 x_i 是该段的输入，θ_i 是该段的参数。标准反向传播需要存储所有中间张量，而检查点仅存储 x_i。反向传播时，需要计算损失 L 对 x_i 和 θ_i 的梯度： ∂L/∂x_i = ∂L/∂y_i · ∂f_i/∂x_i ∂L/∂θ_i = ∂L/∂y_i · ∂f_i/∂θ_i…

摘要 FAISS 的倒排文件索引通过 K-means 聚类将向量空间划分为多个 Voronoi 单元，查询时仅搜索距离最近的 nprobe 个质心所对应的倒排列表，以可接受的召回率损失换取数量级的速度提升。然而，这种近似搜索机制存在一个根本性的几何缺陷：高维嵌入空间中，靠近聚类质心的向量会成为不成比例的大量其他向量的最近邻，而质心区域在实际数据中几乎是空的。安全研究人员提出的 Black-Hole Attack 正是利用这一现象——攻击者仅需向数据库注入约 1% 的恶意向量，将其放置在聚类质心附近，这些向量便能以高达 99.85% 的概率出现在任意查询的 top-k 检索结果中。被检索到的恶意文档通过词汇工程（如“根据更新后的记录”“修正后的数据显示”）诱导 LLM 优先采信注入内容，从而实现对检索增强生成系统的知识篡改。 FAISS IVF 索引的架构与几何基础 倒排文件索引的聚类分区 FAISS 的 IVF 索引是一种经典的近似近邻搜索结构，其核心思想是将高维向量空间划分为若干个子空间，每个子空间对应一个聚类中心。 索引构建分为两个阶段： 训练阶段：对数据库中的向量子集应用 K-means 聚类算法，生成 nlist 个质心，每个质心代表一个 Voronoi 单元。K-means 的优化目标是最小化每个向量到其所属质心的距离平方和。 添加阶段：将全部向量分配到距离其最近的质心所对应的倒排列表中。每个倒排列表存储了属于该聚类的所有向量的 ID 或编码后的压缩表示。 查询时，系统首先计算查询向量与全部 nlist 个质心的距离，选择最近的 nprobe 个质心，然后仅在这些质心对应的倒排列表中执行精确的向量比较。 近似搜索的几何代价 IVF 的核心权衡在于用召回率换取速度。当 nprobe 较小时，系统只搜索了向量空间中的少数区域，如果查询向量的真实最近邻恰好位于未被搜索的单元中，结果就会遗漏。 在实际部署中，nlist 的典型取值为 4sqrt(N) 到 16sqrt(N)，nprobe…

摘要 PyTorch 的 TorchScript 格式将模型序列化为一个 ZIP 目录，其中同时包含 Python 源代码文件和 Pickle 数据文件。这种“代码即模型”的设计在提升跨平台推理能力的同时，创造了一个系统性风险：torch.load() 在加载 TorchScript 模型时会自动执行其中的 Python 代码和 Pickle 反序列化逻辑。2025 年，阿里云安全团队在 DEF CON 33 上揭示了一个颠覆性发现——weights_only=True 这一被 PyTorch 官方文档视为安全选项的参数，实际上支持 TorchScript，而 TorchScript 中嵌入的 Lambda 对象可以在模型加载时执行任意代码。该漏洞被分配为 CVE-2025-32434，影响 PyTorch 2.5.1 及之前的所有版本。 TorchScript 序列化格式 TorchScript 的 ZIP 目录结构 TorchScript 是 PyTorch 的中间表示格式，允许模型脱离 Python 运行时独立执行。当调用 torch.jit.save() 保存模型时，生成的 .pt 文件实际上是一个 ZIP 归档，内部结构如下： 其中 code/ 目录包含模型的 Python 源代码文件，这些文件定义了计算图、自定义操作和模块结构。data.pkl 和 constants.pkl 则是 Pickle 格式的序列化数据，存储张量参数、元数据和常量。version 文件用于兼容性检查。 这种格式的核心特征是：模型文件同时包含可执行代码和序列化数据。Palo Alto Networks…

摘要 现代 GPU 的寄存器文件在高频率和低电压下容易出现瞬态故障，NVIDIA Hopper 架构虽引入 ECC 保护，但 ECC 仅在寄存器被读取时检测错误，对于在计算单元间共享的寄存器，错误可能在写入时潜伏，传播至后续的矩阵运算。攻击者可通过操纵 GPU 供电（利用 NVML 调整功耗限制）或利用相邻 SM 的发热效应，诱发特定寄存器的位翻转，篡改大型语言模型的推理权重或注意力分数，导致输出可控偏差。更危险的是，这种攻击不需要任何软件漏洞——它直接在硬件层面进行，传统的安全监控工具完全失明。 GPU 寄存器文件 寄存器文件的微架构特性 GPU 的寄存器文件是 SM（流式多处理器）中容量最大、访问最频繁的片上存储结构。与 CPU 不同，GPU 采用大规模线程并行架构，每个 SM 包含数十万个寄存器，以支持数千个并发线程的快速上下文切换。为了在有限的芯片面积内实现如此巨大的寄存器容量，GPU 制造商使用了高密度 SRAM 单元，这些单元的工作电压接近晶体管的阈值电压。 这种设计带来两个直接后果：功耗极高，以及对电压波动和温度变化极其敏感。当寄存器文件在高负载下持续读写时，局部温度可能比芯片平均值高出 15-20°C，进一步降低噪声容限。如果此时供电电压发生瞬态跌落，某些寄存器单元可能发生位翻转——写入和读出之间的数据发生静默变化。 ECC 的检测缺口 为了应对瞬态故障，NVIDIA 在 Hopper 架构的寄存器文件中引入了 ECC 保护。ECC 能够在寄存器被读取时检测和纠正单比特错误，并检测双比特错误。然而，ECC 的保护存在一个关键的时间窗口缺口： ECC 校验发生在寄存器读取时，而非写入时。 如果一个位翻转发生在寄存器写入之后、读取之前，ECC 能够检测到。但如果位翻转发生在写入之前——即攻击者在数据被加载到寄存器之前就篡改了数据——ECC 将无从知晓，因为它只验证数据在存储期间的完整性，而非数据本身的正确性。 Clock (CLK) __递增沿__/ __递增沿__/ __递增沿__/ | | | WADDR…

摘要 AMD Zen 4 架构引入增强的返回栈缓冲区预测机制，其 RSB 深度仅 32 条，且回填策略在 RSB 下溢时依赖 BTB 预测。安全研究人员在 2024 年发现，Zen 4 的 RSB 下溢行为与 BTB 训练之间的交互存在根本性裂缝：攻击者可构造深层调用链使 RSB 耗尽，随后用精心布局的间接跳转训练 BTB，使 RSB 下溢预测跳转到攻击者控制的 Spectre 小工具。该攻击可绕过 Zen 4 的 IBPB 缓解，因为 RSB 操作与 BTB 训练不在同一清理路径。 Zen 4 分支预测器的微架构景观 返回栈缓冲区 返回栈缓冲区（RSB）是高性能处理器中用于预测 RET 指令目标的专用预测器。当 CPU 执行 CALL 指令时，将返回地址（即 CALL 之后的下一条指令地址）压入 RSB；当执行 RET 指令时，从 RSB 弹出顶部条目作为预测目标。这种机制使得函数返回预测的精度极高——正常情况下，CALL 与 RET 严格配对，RSB 的栈结构天然匹配调用约定。 +—————————————+ <– 硬件栈底 (Bottom) | Entry [N-1]…