ベンチマーク
BBH
原文：BBH
BIG-benchの課題のうち、大規模言語モデルにとって難しいままのものを選んだサブセット。構成的・記号的な推論や複数段階の推論を調べる。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
BIG-Bench Hard（BBH）は、スケーリングの傾向があるのに以前の大規模モデルの成績が振るわなかった課題を集めたもので、論理的演繹、アルゴリズム的推論、因果推論、数学などを含む。問題は近道で解けないように作られており、計画を立て、中間ステップをつなぎ、規則を組み合わせて適用できるモデルが高く評価される。
BBHは、推論を厳しく試すテストとしてモデルの報告書でよく使われる。BBHでの向上は、ツール使用の改善、長い文脈の扱い、そして許される場合には中間計算（スクラッチパッドや思考の連鎖など）を組み込む能力と相関することが多い。