3.3 最重要的方法学发现

★★★ 0.4k 字 · 源文件 评审综述.md 第 108 行起 · arch

同代码、同种子,跑两次,结果不同。 实测:

配置phash(参数哈希)逐步相同 / 共
默认0 / 120
加确定性三件套后60 / 60

三件套 = torch.use_deterministic_algorithms(True, warn_only=True)

  • cudnn.deterministic=True + cudnn.benchmark=False + CUBLAS_WORKSPACE_CONFIG。

★ 含义:规则 2("单跑次不算结论")的技术前提,在加它之前不成立。 ★ 代价:确定性算子精度略低(差在第 6 位小数)-> 旧 checkpoint 不是同一份数值轨迹。 ★ 已固化默认开启,并给了 --no-determinism 开关用于精确重放旧轨迹。

← 返回《评审综述.md》目录