4bit まで圧縮したモデルの劣化を「後から直す」手法が、実装ブログと論文の双方から同時に出た週。
何が起きたか
Hugging Face に量子化後の劣化を回復させる Quantization-Aware Healing の記事が出て、4bit 圧縮モデルが元の全精度モデルを上回ったと報告された。同じ週に arXiv でも、低ビット重みの修復を活性値重み付きの残差符号化で行う手法が投稿された。2本と本数は薄いが着眼点は重なる。
なぜ重要か
量子化の議論が「どこまで削れるか」から「削った後どう治すか」へ移りつつある。ただし全精度超えの主張はブログ記事段階の報告で、第三者による再現や標準ベンチマークでの検証は※確定はしていない。
次に何を見るか
修復ステップが主要な推論ランタイムや量子化ライブラリに取り込まれるか。全精度超えの再現報告が独立に出るかが判断材料。