Google が技術文書を解析する Deep Review を出した。要約させるのではなく、査読に近い読み方をさせる方向の道具である。
何が起きたか
Google Research は、技術文書を解析する Deep Review を公開した。文書を要約して短くするのではなく、主張とその根拠が対応しているか、検証が抜けていないかを洗い出す使い方を想定している。読み手が時間をかけて行う査読の工程を、機械側へ寄せる試みにあたる。同じ週には、医師国家試験の問題から多言語の痛み表現を構造化する PAINT という枠組みも arXiv に出ているが、こちらは医療言語の表現獲得が主題で、Deep Review とは別の流れである。
なぜ重要か
要約は読む手間を減らすが、読むべきかどうかの判断は減らさない。Deep Review が狙っているのはその先で、「この文書は主張を支えきれているか」を機械が指摘する。技術文書や論文のように、正しさの検証に専門知識と時間がかかる領域ほど効き幅が大きい。一方で、機械が「根拠が弱い」と判定したときに、その判断を誰が引き受けるのかは決まっていない。※Deep Review の判定精度について、第三者の評価はまだ出ていない。
次に何を見るか
Deep Review の指摘が実際の査読プロセスに組み込まれる事例が出るか。判定を誤った場合の検証や、指摘の責任をどこに置くかの議論が出てくるか。