大模型下载下来跑一跑,居然能看出它用哪种芯片训练的。这事最近成了AI圈最硬核的谈资。
一份报告,六款模型”验明正身”
11月12日,前OpenAI工程师Will DePue创办的研究机构Unemployment Labs发布了一份checkpoint取证报告。结论相当扎眼:DeepSeek、月之暗面、MiniMax、蚂蚁集团的开源模型中,有六款的初始化权重与英伟达被出口管制的Blackwell GPU特征吻合。
具体对应关系是:DeepSeek-V4-Flash和MiniMax-M3指向B200或B300芯片;DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro和蚂蚁的Ling-3.1-flash则指向GB200或GB300。
时间线也说得通。DeepSeek-V3在2024年12月发布,权重读出的是Hopper一代的特征;2026年4月的两款V4模型,特征切到了Blackwell。月之暗面的K2.5还是Hopper,到了K3就变了。MiniMax和蚂蚁的模型同样在2026年完成了这次”换轨”。
芯片指纹是什么原理
这套方法的关键在于随机数。模型初始化时,PyTorch使用Philox生成器按种子生成初始权重,GPU把数值分配到各个位置。不同芯片的流式多处理器(SM)数量不同:H100是132个SM、27万多个线程;B200/B300是148个SM、30.3万个线程;GB200/GB300是152个SM、31.1万个线程。SM数量一变,同一批随机数落点就完全不同。
训练语料里没出现过的生僻词元,权重几乎原封不动地保留着初始值。研究者据此反推种子和硬件布局,再用统计模型验证。
证据强度超出预期。识别出的模型匹配度在49到1385个西格玛之间,远超随机波动。物理验证更直接:DePue租来一张B300,用未修改的PyTorch复现了DeepSeek-V4-Flash的469行保留权重中的461行,相关性超过0.99,其中445行逐位一致。一张GB200则完整复现了Kimi K3的全部13行保留权重。种子改一位,全部匹配消失。
训练规模也能算出来
假设初始化硬件也参与了训练,报告估算这五次最终训练大约各用了500到3000张Blackwell GPU,周期两到三个月。这套算法拿DeepSeek-V3回测,算出2000到2500张卡,与官方披露的2048张H800高度接近,方法可信度又添一层。
管制漏洞还是技术误读
报告同样把局限讲清楚了。匹配只证明初始化环节,无法清点训练全程用了什么芯片,也不能证明芯片归属地和采购渠道。报告明确表示,仅凭这些证据既不能认定走私,也不能认定违反出口管制。
AMD的MI300X是个绕不开的备选项。它的304个计算单元可以配置成两组152个,或148个一组,恰好复现同样的布局。不过针对V4-Flash的差异测试中,377个跨厂商差异值里有363个匹配英伟达,没有一个匹配AMD。报告认为特殊配置的AMD集群可能性极低。
另一个细节值得留意:阿里、智谱、腾讯、小米、阶跃的最新可读模型,读出的仍是Hopper特征,Blackwell痕迹并非普遍现象。
权重取证会成为常态吗
这件事的冲击在于方法本身。开源权重等于把训练硬件的”指纹”公开放进了Hugging Face,任何人都能下载分析。出口管制政策执行了几轮,头一回被人从模型文件里反向验证。
对开发者来说,模型在Bedrock上怎么跑就还怎么跑,API行为没有任何变化。真正的变量在供应链和地缘层面:模型发布不再只是能力对标,权重本身成了一份可被审计的”芯片使用日志”。
英伟达的Blackwell还在持续出货,各家下一代模型的权重指纹,会是这份研究最好的后续验证样本。
苏公网安备32010502011527号
发表回复