HealthBench Professional

HealthBench Professionalは、OpenAIのHealthBenchを土台にしたベンチマークである。臨床医が仕事の中でChatGPTに持ち込んだ実際の医療関連タスクで、LLMが有用で正確な答えを出せるかを評価しようとしている。私たちは出典区分（source slice）で層別して50タスクを無作為に抽出し、25タスク（サンプルの50%）に明らかな誤りがあることを確認した。このうち少なくとも14タスク（サンプルの28%）は構造的な誤りで、医学的な正確さとは関係のない問題だった。残りの11タスクの問題は、最小限の専門知識があればはっきり見分けられるものだった。4タスク（サンプルの8%）は書かれたとおりでは答えようがないか、問題設定に不備があった。17タスク（サンプルの34%）は偽陰性を、8タスク（サンプルの16%）は偽陽性を含み、6タスク（サンプルの12%）は主張する能力を測っていなかった。¹医療の専門家による完全な審査なら範囲がもっと広く、さらに多くの問題を指摘するだろう。しかし、無作為サンプルでの誤りの率がこれだけ高いことから、本当の率は少なくとも20%あると確信しており、判定は「欠陥あり」となった。

方法論

525タスクから、3つの区分で層別して50タスクを無作為に抽出した。²どの区分も比例して含まれており、Good Faith Typicalが256のうち24（9.4%）、³Red Teaming Difficultが191のうち18（9.4%）、⁴Good Faith Difficultが78のうち8（10.3%）である。次に、Claude Fable 5.1とGPT-6 Astraに、私たちの審査基準で定義している次の問題を指摘させた。問題設定の不備または解答不能、偽陰性、偽陽性、測る能力の取り違え、である。

最後に、すべての誤りを人手で確認した。検証にわずかな医学知識を要するものも一部あった。たとえばタスクa5778c7ecdb4eeccf9d252631e18a274は、検査の採点基準値についての大まかな知識を必要とする。

HealthBench Professionalのスコアは3つの段階を経て作られる。

1. 各タスクは、臨床医が実際に書いたプロンプトから始まる。臨床医は、自分の臨床や研究の仕事で使うのと同じようにモデルを使っている。
2. 別の医師たちが採点基準を書く。医師たちはプロンプトを書いた人の意図を再構成し、自分の判断を盛り込んで、正しい答えが含むべき、または避けるべき各基準に重みを割り当てる。⁵
3. そのうえで、LLMの採点者（推論努力をLowにしたGPT-5.4）が各基準を個別に確認し、基準ごとに合格か不合格かの二値の判定を下す。

代表的な誤り

解答不能な問題には、設定に不備のあるものがある。たとえば、検査の版や年齢別の基準値といった詳細を示さずに検査結果の解釈を求めるものや、専有製品の成分の配合を答えるようモデルに求めるものである。

偽陰性には、足りない情報を尋ねても得点にならないもの、ある医師の疑わしい見解を事実として扱い、それに異を唱えると減点されるもの、タスクの前のターンで示された情報に裏づけられた内容が減点されるもの、などがある。

偽陽性には、内容ではなく形式を確かめるタスクが含まれうる。どんな引用でも（捏造されたものでも）合格になる例や、求められた文書を書くのを断ると100%の得点になる例が見つかった。

測る能力の取り違えには、採点基準が周辺的な事実を採点するばかりで、実際の質問を（少なくとも部分的に）採点していないタスクが含まれる。例としては、翻訳を伴うタスクや、書式の癖を減点するタスクがある。

いくつかの構造上の選択によって、このベンチマークは内容に関わる誤りを生みやすくなっている可能性がある。これらは網羅的には評価していない。

• タスクは臨床医が実際に書いたプロンプトから取られているので、あいまいだったり、設定に不備があったり、条件が足りなかったりすることがある。
• 別の医師たちが採点基準を書くので、標準的な診療の違いや、正解が確立していない領域での意見の違いによって、偏りや誤りが意図せず入り込みうる。
• LLMの採点者は合格か不合格かの判定しか下せないので、部分的に正しい点があっても柔軟に評価できない。

誤りの一覧

汚染を防ぐため、ベンチマークの作成者は、データセットの例を平文や画像でオンラインに公開しないよう求めている。この要請を尊重し、「代表的な誤り」では実際の誤りの類型の例を示し、ここではLLMが要約した備考を示す。

誤りの種類：1）解答不能、2）偽陰性、3）偽陽性、4）測る能力の取り違え。

タスクID	誤りの種類	備考	欠陥の区分
a5778c7ecdb4eeccf9d252631e18a274	解答不能、偽陰性	プロンプトの数値入力が互いに矛盾しており、参照する基準値も示されていない。	臨床的
c70db1fcf0a0e2e2b86e19141c7ab39e	偽陽性、測る能力の取り違え	臨床医は薬物相互作用のデータを求めている。唯一のOR条件の基準は周辺的な内容を採点し、相互作用についての主張をまったく確かめないので、幻覚による主張でも合格する。	構造的
83a295db73b1bc551ed5941434655de1	偽陰性	減点基準は、2つの手技の比較を決着済みとして扱っているが、その根拠となるガイドラインは立場を示していない。加点基準は、引用を確かめずに引用に点を与える。	臨床的
35b9ab1e8dc0ef2244dde26f4872d185	偽陰性	加点基準は特定の解剖学的な答えを1つだけ求めるが、正しい答えはプロンプトが省いている細部によって変わる。その細部を尋ねても得点にならない。	臨床的
c3fc32bce9986b51c688e46c988116fe	偽陽性、測る能力の取り違え	臨床医は用量を尋ねているが、用量はまったく採点されないので、危険な値に一般的なリスクの注意書きを添えただけで満点になる。	構造的
503b75b4cba8e5abd656cd2512a449bb	偽陰性	関連する検査値を確認すれば妥当といえる選択を減点し、標準的な選択を省いたうえで、その場面に合わない代替案だけに点を与える。	臨床的
282e788a7f8be989ae55aa236fcd9f88	偽陽性	求められた種類の文書であれば、どんな回答でも両方の基準を満たす。内容の正確さは確かめられていない。	構造的
99750e7472125ff9f35a896e532bb77a	偽陽性	唯一の基準は矛盾を見つけることに点を与える。求められた文書の重みはゼロなので、書くのを断れば100%になる。	構造的
54f98e63dbdd317b1a6bf3d8f84f7bf0	偽陰性	4つすべてを挙げることを求める列挙にニッチな治療法が含まれており、それを省いた妥当な第一選択の答えは、その項目で0点になる。	臨床的
6d7385494242595c03cdc6d2812f4a3d	偽陰性、偽陽性、測る能力の取り違え	求められた投与量はまったく確かめられない。同じ引用を2回使うことや、標準的なレジメンに含まれる薬を挙げることが減点される。	構造的
d09add4f588755d3ccddfe9a7226993d	偽陰性、測る能力の取り違え	採点基準は、臨床医が求めた具体的な一覧ではなく、その疾患の周辺的な特徴2つを採点する。的確な答えが0点になりうる。	構造的
dbec60751876c6e24fbd07c5fab139e9	偽陰性	正直に不確かさを示すと減点されるおそれがあり、正解も変わり続けている。	構造的
7b30b74bfdd1d0e781a5d1ff9430a6cb	解答不能	加点基準が、プロンプトのどこにも出てこない患者の特徴に応じることに点を与える（採点基準とプロンプトの版が食い違っているとみられる）。	構造的
de721391f646b3844d7a52fa7e4e5511	偽陰性	正しく、直接関係するタイミングについての助言を含む答えでも、求められていない追加の文脈を省いているという理由で得点がゼロになる。	臨床的
7113e3e9fa7c36ba46ddb6b6bc76d94a	偽陰性、測る能力の取り違え	前のターンで自ら引用した証拠が支持する立場を減点する。前のターンですでに実施した検査を勧めることに点を与え、最後の質問は採点されない。	構造的
c6b2da2a85e39bd9b9018cf135476cf0	解答不能、偽陰性	1つの正確なスコアを求めるが、臨床医の入力の1つが隣り合う2つの点数に対応するため、医師による同じく妥当な合計が0点になる。	臨床的
ff227f1cf3089a77df73966ccb24ea4c	偽陽性	手術手技が「段階的な説明を示している」かどうかだけで採点される。どんな番号付きリストでも合格し、手順が間違っていても減点されない。	構造的
696a797226704ff41bd9ef444778d73e	解答不能、偽陰性	1つの正確なリスクスコアを求めるが、プロンプトでは2つの採点項目が特定されていない。複数の合計が妥当でありうるのに、点が与えられるのは1つだけである。	臨床的
ca453ab13aa0ee164387f4cd8ef2e197	偽陽性	いくつかある一般的な方法のどれか1つを挙げれば合格する。違う言語で答えても減点されない。	構造的
0535beb34f00feaeb7fe28c697caa476	偽陰性	ある基準は、今年の国の政策変更についての知識を求める。用語についての減点基準は、国の公式な情報源自体が使っている言い回しに反応してしまう。	臨床的
050d51fae49ae14008ad94db8b035e45	偽陰性	唯一の加点基準はガイダンスを誇張しており（回避か、まずスクリーニングか）、質問とも関係が薄い。慎重で正しい答えが0点になる。	臨床的
f3c8ffa378bf114ce33d694db43d8412	偽陰性、測る能力の取り違え	すべての基準が、2つの国の機関の間のごく最近の政策上の意見の相違にかかっている。学習データの締め切りが早いモデルは、以前のコンセンサスを述べるとすべての点を失う。	構造的
458c5d4af48964eb26cf49f27dcdf968	偽陰性	減点基準の範囲が広すぎて、専門医なら盛り込むはずのハームリダクション（害の低減）の文言を含む良い答えまで引っかかる。	臨床的
3b6768c0c7ec45fe4fb1aa6d9a4a8c8e	偽陽性	「X国の症例報告を参照している」という基準は、本物の引用と同じように、捏造された引用でも満たされる。	構造的
924b069395928cd26576cd3fb1aceab0	偽陰性	採点基準の1項目が、書式の誤り（紛れ込んだ箇条の記号）によって2つの基準が合わさったものになっており、そのうち1つは主観的な比較の判断である。	構造的

その他のタスク

指摘のなかった25タスクのIDを以下に示す。これらのタスクにも、医療の専門家なら指摘するような誤りが残っている可能性はあるが、私たちの分析では問題が見つからなかった。

• 4f08ae480b16ef825cf098eca6530e68
• e156871820fef362c392aedfc8429c48
• c820187649a64fca4be8aa237bd93fd6
• 5b139efb2c8c5881d782135358d5ec25
• dc4f101b1b9ead76d90067debe5c7d36
• 41ba225b4e2a8210c1d03112a34c0ab1
• 7791cf509bfaa1defdc4efaec9b29eb9
• bdde297153ec143877b82dd9dd47b04f
• c443f1a285bc015ef677e65ea361113d
• 5060922f2c0e9525177a1d251594bb9a
• 05569de0534eb183cc9935ff9498a7cf
• 6c393aec7444ed28f3db46c33459fa15
• f3f1182e86b37be585cfb0af4eb44ccd
• ac7ce5c7f6b5fb860cd2feb7f9e4a6fe
• eec81e8363a30d53edf8ed8b55bd535c
• 2346e3e2d47f1326ba63811a6a4d0910
• f3be6c11c68c492d3ef08af1be07f547
• 78b02f28913d81712b01941bec4e9660
• 7b0ad484ccf93f69612c2533d044c4b7
• 40346f3978ae08ebb99213b99290fa90
• 68ea82a57829bbb36ba708868b818a83
• 4f8e076d432c53c2c56fb24215143490
• 35b3491359ab7e2232c335e8c5b01ed2
• fe90fa8aecea9ecd618059ca246e149b
• f03edbfec507df466d00e5eb0364eefb

審査基準

1. 審査可能性

段階	意味	判定
完全	すべてのタスクと採点ロジックを確認でき*、各モデルに使われたハーネスとAPIの設定（推論努力、トークン・時間の上限、ツールの利用、システムプロンプト）がすべて開示されている	［2へ進む］
部分的	タスクの代表的なサンプルと採点ロジックを確認でき、ハーネスとAPIの設定がすべて開示されている	［2へ進む］
不十分	確認できるタスクや採点ロジックが限られている、偏っている、またはまったくない。ハーネスとAPIの設定が開示されていない	［中止 → NEI］

* 公開されているか、審査者に非公開で提供されているかを問わない。

2. 採点

これは「検証済み」となるために必要な最低限の基準である。これらの項目のどれか1つでも満たさなければ、判定は「欠陥あり」となる。

採点
例	書かれたとおりでは、正しく答えることが事実上不可能（例：タスクの条件不足、隠れた要件、ファイルやツールの欠落） 偽陰性（例：厳しすぎる採点器、古いまたは誤った正解、変わりうる外部の状態への依存、エージェントと無関係なサンドボックスの障害） 偽陽性（例：甘すぎる採点器、報酬ハッキングできる環境、採点ロジックの誤りにつけ込む、ハーネスやウェブから答えを取ってくるといった近道で、測るはずの技能を迂回できる） タスクが、主張する能力をまったく測っていない
「欠陥あり」とする既定の閾値	確認したサンプル†の20%以上に誤りがある、または採点を大規模に損なう問題がある
判定	合格 問題あり［中止 → 欠陥あり］ 未審査
備考	—

ベンチマークの一貫性
例	バージョン番号を上げずに、採点器、指示、正解を変更している
「欠陥あり」とする既定の閾値	リーダーボードに、異なるバージョンによる比較できない結果が混在している
判定	合格 問題あり［中止 → 欠陥あり］ 未審査
備考	—

能力の引き出し
例	モデルの能力の引き出しが極端に制約されており、それがベンチマークの主眼でもない： タスクの規模に比べて資源が足りない（トークン・ターン・時間の上限、サンドボックスの資源） コンテキストの管理が不十分 エージェント用の環境を用意するのが自然な場面で、それがない エージェント型のベンチマークで、自発的でない打ち切りが多すぎる
「欠陥あり」とする既定の閾値	そのタスクで妥当な別の方法と比べて、性能が大幅に下がっている
判定	合格 問題あり［中止 → 欠陥あり］ 未審査
備考	—

評価設定の偏り
例	計算資源やトークンの予算が不均等 不公平なスキャフォールドの選択（例：一部のモデルだけを最適化している）
「欠陥あり」とする既定の閾値	特定のモデルに有利な重大な偏りが見つかった
判定	合格 問題あり［中止 → 欠陥あり］ 未審査
備考	—

† 利用できるタスクが50を超えるベンチマークでは、50タスクを無作為に抽出する（区分があれば区分で層別する）。観察された誤りの率が15〜25%なら、サンプルを100に広げる。利用できるタスクが50以下のベンチマークでは、すべてのタスクを評価する。

3. 評価の質

これは、すべてのベンチマークに満たしてほしい水準だが、これらの項目を欠いていたり満たしていなかったりしても、必ずしも失格にはならない。

項目	判定	備考
能力の引き出しと資源の十分さ：モデルに与えられる資源（推論のトークン・ターンの予算、ツールの利用など）は、モデルが上限に近い性能を出すのに十分か？	十分 制約あり 不当に制約されている 不明 未審査	—
スキャフォールドの公平性：リーダーボードはどのスキャフォールドでの結果を報告しているか？	共通のスキャフォールド モデル別と共通のスキャフォールドの混在 モデル別のスキャフォールド 未審査	—
汚染の証拠やおそれはあるか？	未審査	—
人間が解けるかどうかは評価されているか？	全タスク 代表的なタスクの集合 実施が不十分（代表的でないタスクの集合、妥当でない参加者の集合） 確認されていない 未審査	—
スコアの範囲（推定できる場合）	下限—、上限— 未審査	—
統計的な十分さ：モデルあたりの実行回数（エラーバーには5回以上を推奨）	モデルあたり—回 不明 未審査	—
構成概念妥当性	主張する能力を測っている 主張する能力を部分的に測っている 主張する能力を測っていない 未審査	—

免責事項

これは部分的な審査である。欠陥のあるベンチマークについて私たちが公表している閾値を超える誤りが見つかった時点で、確認を打ち切った。

区分で層別して無作為に抽出した50タスクを確認した。確認していないタスクには、さらに欠陥が含まれている可能性がある。

公開前にベンチマークの開発者に連絡を試みており、開発者がこのレビューへの回答を書いた場合は、ここにリンクを載せる。ベンチマークの開発者の方で、回答をここに載せてほしい場合は、回答へのリンクを添えてreviews@epoch.aiまでメールしてほしい。