Appleの研究チームがMac Studioを束ねたLLM分散推論を示し、同日に小型モデルのツール学習研究も並んだ。
何が起きたか
Apple機械学習研究が、MLXとRDMAでMac Studioを連携させ大規模LLMを分散推論する手法を公開した。同日にはTri-Modalのマスク拡散モデルの設計空間分析、arXivでも小型モデルのツール学習やエージェント間交渉など関連論文が並んだ。
なぜ重要か
大規模モデルの推論がデータセンターのGPUだけでなく、手元の高性能Macを束ねる形でも現実味を帯びてきた。小型モデルを教師から鍛える流れと合わせ、「軽く・手元で回す」方向の研究が同週に重なった点が読みどころ。ただし研究段階の報告で、実運用での採用は確認できていない。
次に何を見るか
MLXでの分散推論が公開ツールや一般向け機能として使えるようになるか、通信帯域を含む実効性能の追加報告が出るかを見たい。