LiquidAIが、投機的デコードでVision-Languageモデルの推論を高速化する手法「DSpark」を公開した。
何が起きたか
LiquidAIは、Vision-Languageモデル(VLM)の推論を高速化する手法「LFM2.5-VL-DSpark」を公開した。使うのは投機的デコード(speculative decoding)で、本体3Bに対し8.9%分の2.8億パラメータの「下書きモデル」が候補トークンをまとめて生成し、本体が検証する仕組み。メモリのわずかな増加と引き換えに出力の質を落とさず速める。M5 Max(MLX)でデコード2.30〜3.13倍、H100 GPUで2.04〜2.66倍になったという。
なぜ重要か
投機的デコードが速くするのはデコード(トークン生成)部分に限られる。VLMでは画像を読み込むエンコード処理と、最初のトークンを出すまでのプレフィル処理が実行時間の相当部分を占めており、特にエッジ端末ではその比率が大きい。つまりデコードだけを何倍速くしても、全体の体感速度はアムダールの法則どおり他の工程がボトルネックになった時点で頭打ちになる。デコード倍率の大きさをそのままモデル全体の速さと読み違えないことが重要だ。
次に何を見るか
エンコード・プレフィル側の高速化がどこまで進むか、また同じ下書き+検証の設計が他のVLMやより大きなモデルにも移植できるかが次の見どころになる。