Cohere が、AI に質問と同じ言語のまま考えさせる学習法と、その成果を示した。
何が起きたか
Cohere の研究チームは、60 言語で AI が英語に切り替えず、質問と同じ言語のまま考えるよう学習させた。使ったのは 3.35B パラメータの Tiny Aya L2-Thinker である。英語の解法 170 万件、44 言語で言語あたり約 5,000 件の翻訳済みの解法、未学習の言語に対応させるための質問と回答の組を混ぜて学習させた。その結果、60 言語で 93% 超の割合で質問の言語のまま推論し、6 つの試験のうち 5 つで正答率の低下は 2〜3 ポイント以内に収まった。
なぜ重要か
データの少ない言語でも、質問の言語での推論が保たれた点が大きい。同程度の比較対象には、この割合が 72% から 5% まで落ちた例があるのに対し、このモデルは 94〜99% を保った。ただし競技レベルの数学では正答率の低下が目立つ。また、翻訳した学習データの質に左右される方法でもある。
次に何を見るか
競技数学での落ち込みが、追加の学習で埋まるか。翻訳データの質が言語ごとに違うとき、質問の言語での推論がどこまで保たれるか。この 2 点が、手法の適用範囲を決める。