Video-MME

概要

Video-MMEは、動画理解の課題でマルチモーダル大規模言語モデルを評価する、幅広い領域を網羅したベンチマークである。6つの大分野と30の下位カテゴリー（知識系の動画、映画・テレビ、スポーツの試合、日常生活の記録など）から集めた900本の動画（約254時間）に、専門家が作成した多肢選択式の問題と答えの組2,700件を対応させている。問題は、現実的な動画の場面での認識、時間的な推論、出来事の理解、より高度な理解を問う。

このベンチマークは、長いコンテキストとマルチモーダルの能力をはっきりと対象にしている。動画は短い（2分未満）、中程度（4〜15分）、長い（30〜60分）の長さにわたり、モデルは映像のフレームだけから評価することも、字幕や音声の情報と合わせて評価することもできる。リーダーボードの結果は、動画の長さと字幕の有無ごとに正答率（%）を報告する。そのため、複数フレームの入力に対応させた画像中心のモデルと、動画専用に作られたマルチモーダル大規模言語モデルとを比べられるうえ、長く複雑な動画で性能が落ちる様子もはっきりわかる。

方法論

スコアはVideo-MMEの公式リーダーボードから取得している。このリーダーボードは、各モデルの正答率を、短い・中程度・長い動画のそれぞれについて、字幕ありとなしで報告している。私たちのハブでは、各モデルについて字幕なしの全体の正答率を主要な指標として用いる。