ベンチマーク
GSM8K
原文：GSM8K
小学校レベルの算数の文章題からなるベンチマーク。複数段階の算術的推論と、完全一致で採点される解答に重点を置く。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
GSM8Kは短い物語形式の問題からなる。モデルは問題文を分解し、途中の計算を行い、最終的な数値の答えを出さなければならない。タスクは人間にとっては意図的に簡単にしてあるが、途中の推論を書き出す場（スクラッチパッド）を使わないモデルや、計算が正確でないモデルには難しい。
答えは自由形式の数値なので、このベンチマークは思考の連鎖（chain-of-thought）やツールを使った数学の評価によく使われる。完全一致で採点するため、誤りの原因を突き止めやすく、モデルどうしやプロンプトの手法どうしで比べやすい。