NVIDIA が同じ日に公開した三つの技術解説は、モデル・実行・配線と扱う層がばらばらだ。どれも計算を速くする話ではない。
何が起きたか
一つ目は、密結合型と Mixture-of-Experts の選び分けだ。例に挙がる Nemotron 3.5 Lightning は、総パラメータ 30B のうち、トークン 1 つの処理に 3B だけを働かせる。必要な部分だけを選んで動かせば、全体を毎回動かさずに大きな容量を使える。二つ目は Vera Rubin 上で動く Groq 3 LPX で、実行のタイミングをあらかじめ確定させて無駄な待ちを減らす。三つ目は NVLink 6 で、リンク層からシステム層まで冗長と回復の段を重ね、障害が起きても学習を続けさせる。
なぜ重要か
三つは別々の技術だが、並べると同じ方向を向いて見える。演算器を速くするのではなく、限られた資源をどう使い切り、どう止めないかの話だ。とくに三つ目が効くのは、大規模な学習ではクラスタ内の全 GPU が足並みを揃えて動くため、1 台が止まれば学習全体が止まるからだ。ただし電力を制約として明示しているのは後ろの二つで、モデルの選び分けはあくまで処理量の話として書かれている。
次に何を見るか
公開されたのは設計思想であって、実測値ではない。電力あたりでどれだけ処理できたか、障害が起きたとき学習が実際どこまで続いたかを導入側が自分の環境で出せるようになったとき、この三層が効いているかが分かる。