4.2 崩溃的根因链(每一步都被数据否证过一次)

0.5k 字 · 源文件 评审综述.md 第 152 行起 · goal discipline ruler arch optim ground read selfcorrect external

#假设实测结论
1RL 太强关掉 adv-norm 照样崩❌
2KL 锚拉住策略3 种子复现 1/4❌ 是运气
3到达目标格后优势无方差直接测:测不了(分组没有对照组)⚠️ 未检验
4"冻住策略"RL_SCALE=0 时参数哈希显示 11/12 步在变❌ 只关了一项损失
5门控是解药熵修正 + 门控关也能过(A9_N0)❌
6熵修正就够门控 6/6 vs 门控关 1/6❌ 门控是稳定性来源
7破坏源是 v(价值)而非 pi(策略)只关 pi 崩;只关 v 3/4 不崩✅

★ 熵的定义原来写错了:mix 模式把 log_std 当成熵, 使它在损失里出现两次、符号相反 -> 探索幅度被反向拉扯 -> 逐刻漂移 -> 崩。

← 返回《评审综述.md》目录