動画につける説明文の良し悪しを、Apple は正解文との一致ではなく「その文を読んで中身を当てられるか」で測り直した。
何が起きたか
Apple が 9 月、動画の説明文を採点する方法として CapQuiz を公開した。従来は人が用意した正解文とどれだけ言葉が重なるかで採点していたが、同じ動画でも説明の仕方は何通りもあり、言い回しが違うだけで良い説明文が低く扱われてしまう。CapQuiz は正解文を使わず、動画から作った選択式の設問を人手で確かめたうえで、その設問に説明文だけを読んで答えられるかを見る。
なぜ重要か
採点方法が変わると、作り手が何を目指すかが変わる。正解文との一致で測っていた間は、内容が合っていても言葉を選び直しただけで減点されうるため、無難で似通った説明文が有利だった。設問に答えられるかで測れば、評価されるのは情報が正しく、抜けなく入っているかになる。論文では、この測り方のほうが人間の評価と近い結果になったとしている。※比較は論文内の実験にとどまり、他の研究者による追試や、他社の評価基盤への採用はまだ確認できない。
次に何を見るか
設問と動画のデータが公開され、他の研究チームが同じ土俵で測り直せるようになるかどうかが、最初の分かれ目になる。既存の採点方法で上位だったモデルの順位が入れ替わるかどうかも、この測り方の実力を映す。