NVIDIAが、生命科学向け基盤モデルのMoE学習をBlackwell GPU上でまとめて高速化する手法を示した。
何が起きたか
NVIDIAは、生命科学向け基盤モデルのMoE学習を効率化するレシピを「BioNeMo」上で公開した。MoEは密なTransformerより計算を抑えられる反面、エキスパートごとの処理が細切れでGPU使用率が落ちる、通信やメモリを圧迫するという課題がある。複数エキスパートの計算をまとめて発行する「GroupedLinear」、8bit精度「MXFP8」、演算を1カーネルに融合する手法で解決した。MXFP8はBlackwell世代GPUの専用回路で加速される。
なぜ重要か
B200 GPU8基での検証では、Hugging Face実装比で2.21倍のスループット(GPU1基あたり毎秒9,050トークン、比較対象は4,096トークン)を確認できたという。汎用LLMの学習で磨かれてきた効率化の型が、データの均質性が異なる生命科学分野にもそのまま持ち込めることを示した格好だ。ただし数値はBlackwell世代GPU・8基構成という特定条件での実測であり、小規模環境や異なるモデル構成でも同じ倍率が出るとは限らない。
次に何を見るか
この効率化レシピがBioNeMo以外の生命科学系基盤モデルや、他分野のMoEモデルにも展開されるか。またMXFP8のようなBlackwell専用の低精度演算が、次世代GPUや他社ハードウェアでも再現可能な設計として定着するかが焦点になる。