MATH Level 5

概要

MATH Level 5は、より大きなMATHデータセットの一部である。MATHデータセットは、AMC 10、AMC 12、AIMEをはじめとするさまざまな数学競技会の問題で構成されている。論文には次のようにある。「これらの競技会は数十年にわたって続いており、米国で最も優秀な若い数学の才能を持つ人たちの数学的な問題解決能力を評価するものである。これまでの研究の大半とは異なり、MATHの問題のほとんどは、K-12（幼稚園から高校まで）の標準的な数学の道具をそのまま当てはめるだけでは解けない。」

MATHデータセット全体は12,500問（学習用7,500問、テスト用5,000問）からなる。MATHの問題には1から5までの難易度レベルが割り当てられている。MATH Level 5は、具体的にはMATHのテストセットにあるレベル5の1,324問で構成され、データセットの中で最も難しい問題にあたる。

MATHデータセットは広く使われており、モデルの開発者は自社モデルの数学的推論能力を評価する際にその結果をよく報告している。私たちが評価にレベル5の部分集合を選んだのは、現在のモデルではまだ飽和していないからである。これなら、テスト用の5,000問すべてを実行しなくても、最も情報量が多く難しい問題に集中できる。

方法論

次のプロンプトを使っている。

次の数学の問題を一歩ずつ解いてください。回答の最後の行は「ANSWER: $ANSWER」（かぎかっこは不要）の形にしてください。ここで$ANSWERは問題の答えです。

{question}

答えは最後に独立した行として「ANSWER: $ANSWER」（かぎかっこは不要）の形で書くことを忘れないでください。ここで$ANSWERは問題の答えです。\boxedコマンドを使う必要はありません。

モデルの答えが「ANSWER: $ANSWER」の形になっていない場合、その問題は得点なしとなる。モデルの答えの評価には、3種類の採点器を使っている。

• normalized_string_match：正規化した文字列の一致で判定する採点器で、単純な規則を使ってモデルの答えを正解と比べる。たとえば「\frac1b」と「\frac{1}{b}」を同じ答えと判定する。
• sympy_equiv：記号的な同値性（sympy）で判定する採点器で、文字列の一致にとどまらず、数学的に同値な式を認識する。たとえば「5/2」と「2.5」を正しく同じ答えと判定する。
• model_graded_equiv：モデルを使う採点器で、gemini-1.5-flash-002を使って、モデルの答えが正解と一致するかを評価する。

グラフでは、特に断りのない限りmodel_graded_equivの採点器を使っている。

実装に使ったコードはこちらにある。