Hugging Face が Transformers へのモデル統合の「契約」を整理し、アーキテクチャ研究も同週に複数出た。
何が起きたか
Hugging Face は Transformers ライブラリにモデルを統合する際の契約（満たすべき規約）を解説した。同じ週に arXiv では、層の順序を適応的に変える手法、アダプタ学習と知識蒸留、チェスTransformerによるユーザー模擬、説明可能性の分析などが出ている。
なぜ重要か
新モデルが増え続けるなか、統合の規約が明文化されると実装の揃い方や保守のしやすさに影響する。研究側は構造や挙動の理解に関心が分散しており、ライブラリの整備と研究が並走している。※個別の論文の再現性や採用は確認できていない。
次に何を見るか
この契約に沿って統合される新モデルが増えるか、層の入れ替えなど研究手法がライブラリに取り込まれるかを見たい。