3.3 最重要的方法学发现
★★★
0.4k 字 ·
源文件 评审综述.md 第 108 行起 ·
arch
同代码、同种子,跑两次,结果不同。 实测:
| 配置 | phash(参数哈希)逐步相同 / 共 |
|---|---|
| 默认 | 0 / 120 |
| 加确定性三件套后 | 60 / 60 |
三件套 = torch.use_deterministic_algorithms(True, warn_only=True)
cudnn.deterministic=True+cudnn.benchmark=False+CUBLAS_WORKSPACE_CONFIG。
★ 含义:规则 2("单跑次不算结论")的技术前提,在加它之前不成立。
★ 代价:确定性算子精度略低(差在第 6 位小数)-> 旧 checkpoint 不是同一份数值轨迹。
★ 已固化默认开启,并给了 --no-determinism 开关用于精确重放旧轨迹。