SimpleBench

概要

これらの問題は、人間にとって理解するのが特に難しいものではない。ベンチマークの作成者は、問題の一部を9人に解いてもらい、人間のベースラインを84%と定めた。ベンチマークの問題は、人間には比較的簡単に答えられる一方で、開発当時のモデルにはまだ難しいものとなるよう意図されていた。評価の設定は単純で、モデルから最大限の性能を引き出すためのプロンプトで構成される。その一部は、推論するよう学習されていないモデルに思考の連鎖（chain-of-thought）の振る舞いを促すために入れてある。

方法論

SimpleBenchの結果は公式サイトから直接取得している。

SimpleBenchでは、選択肢がそれぞれ6つある213問の多肢選択問題でモデルを評価する。モデルは標準化されたプロンプトで評価される。各モデルは1問につき5回実行され、通常は温度（temperature）0.7、top-p 0.95で実行される（温度を制御できないoシリーズのモデルを除く）。報告されるスコアは、この5回の実行の平均正解率である。

使われる標準のプロンプトは次のとおりである。

あなたは推論の専門家で、常に最も現実的な答えを選びます。一歩ずつ考え、推論を出力したあと、次の形式で最終的な答えを出力してください。Final Answer: X（XはA、B、C、D、E、Fのいずれかの文字）

oシリーズのモデルには、思考の連鎖の指示を取り除くため、少し手を加えたプロンプトを使う。

あなたは推論の専門家で、常に最も現実的な答えを選びます。次の形式で最終的な答えを出力してください。Final Answer: X（XはA、B、C、D、E、Fのいずれかの文字）。最終的な答えには余分な書式を付けないでください。

データセットの作成、人間による評価の方法（9人の参加者から暫定的なベースライン83.7%を得た）、モデルごとの結果の詳細については、SimpleBenchのウェブサイトを参照。