データの解説 数学研究でのAI利用

方法論

原文：AI use in math research documentation – Methodology

Epochの「数学研究でのAI利用」エクスプローラーは、arXivのメタデータとソーステキストを使って、数学のプレプリントでAIの利用が明記されているかを追跡している。AIの利用を明記した論文については、AIモデルに論文を読ませ、AIを何に使ったか（研究、執筆、コードと計算、文献調査、形式化など）を分類させている。データはこのエクスプローラーのGitHubリポジトリで公開している。

質問、意見、提案は math@epoch.ai まで寄せてほしい。

データ

1989年から現在までにプレプリントサーバーarXivに投稿されたすべての数学論文のメタデータと、そのうち2023年から現在までの論文すべてのソーステキストを使っている。このデータは次の三つの情報源から集めた。

  1. arXivのOAI-PMHインターフェースから取得したarXivのメタデータ
  2. arXivのAmazon S3一括データから取得したarXivの全文データ
  3. OpenAlex APIから取得した、各論文の著者に関するOpenAlexの情報

オープンアクセスの相互運用インターフェースの利用についてarXivに感謝する。このプロジェクトはarXivの審査や承認を受けたものではなく、arXivの方針や見解を必ずしも表明・反映するものでもない。

論文

主分類が数学の論文を対象とする。各論文は最初にarXivへ投稿された日付で数え、改訂の日付はこのデータセットに含めない。各論文は主カテゴリーの分野にだけ数え、副カテゴリーは考慮しない。全文は、2026年9月5日時点で入手できた各論文の最新版から取得した。改訂で追加されたAI利用の明記は、その論文の初版の日付で数える。

AI利用の明記と用途の分類

目的を問わずAIツールを使ったことを明記していれば、その論文はAIの利用を明記しているとみなす。さらに、著者がAIを使ったと明記した用途のうち、いくつかを個別に分類する。AI利用の明記の特定と用途の分類は、次の手順で行った。

  1. AIに関するキーワードを一つ以上含む論文を、正規表現による検索で特定した。AIのキーワードの一覧は表1にある。
  2. 2023年から現在までの論文のうちキーワードに一致したものすべてについて、GPT-5.6 Solが全文を読み、AI利用の明記があるかを判定した。Solは、該当する各論文に、明記されたAIの具体的な用途を表2のタグの一覧から選んで付けた。複数の用途を明記した論文には、用途ごとにタグを付けた。Solはタグごとに、そのタグを付ける根拠となる論文中の一節を特定した。タグと一節の組は保存してあり、データとともに公開している。
  3. タグの根拠とされた一節が実際に論文中にあることを、文字列の照合で確かめた。一節が論文中に見つからなければ、その論文からタグを外した。
  4. Solが研究タグのいずれか、または形式化タグを付けた論文はすべて、Claude Fable 5が独立に読み、用途のタグを付けた。
  5. 研究以外のタグについては、Fableがタグと一節の組をすべて読み、タグが裏づけられているかどうかを判定した。
  6. タグを次のように用途の区分に割り当てた。
    • 実質的な研究：main_results_generated、specific_result_generated、statement_generated、substantial_proof_contributions
    • 研究の補助：vague_proof_contributions、proof_ideas
    • 形式化：formalization_assist
    • 執筆：writing_polish、draft_text_generated、translation
    • コードと計算：code_computation
    • 文献調査：literature_search
  7. 執筆、コードと計算、文献調査の各区分には、Solがその区分のタグを付け、かつFableがそのタグと一節の組を裏づけられていると判定した論文を数える。
  8. 形式化の区分には、Solがformalization_assistのタグを付け、かつFableも読み直しでformalization_assistのタグを付けた論文を数える。
  9. 実質的な研究の区分には、Solが実質的な研究のタグを付け、かつFableも読み直しで実質的な研究のタグを付けた論文を数える。
  10. 研究の補助の区分には、Solが研究タグを付け、Fableも読み直しで研究タグを付け、かつ実質的な研究の区分に当てはまらない論文を数える。つまり、実質的な研究と研究の補助の区分は互いに重ならず、実質的な研究の区分には、FableとSolの両方が実質的な研究のタグを付けた論文だけが入る。
  11. 手順2で何らかのAIの用途のタグが付き、かつFableが、手順5で研究以外の用途のタグと一節の組を裏づけられていると判定したか、手順4で独自に研究用途のタグを付けた論文を、AIの利用を明記した論文として数える。
  12. 用途の分類の適合率を推定するため、Epochの数学者が次のものを確認した。
    • 前の手順を通過した研究タグと一節の組200件。タグと一節の組の91%に同意し、研究の区分では93%に同意した。
    • 前の手順を通過した研究以外のタグと一節の組50件。98%に同意した。
  13. AI利用の明記率全体の再現率を推定するため、手順1でキーワードに一致しなかった2026年の論文から無作為に250本を選び、GPT-5.6 Solに（手順2と同じプロンプトで）AI利用の明記を探させた。GPT-5.6 SolがAI利用の明記を見つけた論文は、250本中0本だった。

Jin、Ke、Suiによる独立の研究も、同様の方法を使っている。

提供元

GPT-5.6 Solは、手順1でキーワードに一致した論文の全文ソースを読む際に、名前の挙がったAIツール（「OpenAI」「Anthropic」「Codex」「Claude」「ChatGPT」など）をすべて特定し、ツール名が書かれている文を保存した。ツール名は後で提供元と対応づけた。

実績のある著者

著者の情報はarXivのメタデータから読み取り、OpenAlexの著者レコードと照合した。2026年9月16日時点で、2023年から現在までにarXivに掲載された論文の著者のうち、全体で91.5%がOpenAlexの著者レコードと一致した。次の基準をすべて満たす著者を、（分野math.XXの）実績のある著者とみなす。

  1. 2019年から2022年までに、arXivの数学分野に投稿された（主分野がmath.XXの）論文を3本以上執筆している。
  2. OpenAlexのデータベースの記録で、コアジャーナルに5本以上の論文を発表している。（コアジャーナルはOpenAlexの絞り込み条件の一つで、ライデン大学科学技術研究センター（Centre for Science and Technology Studies）が「コアソース」と認定したジャーナルからなる。）
  3. 2023年以降に、arXivの数学分野のいずれかの分野に投稿された論文を1本以上執筆している。

2019年から2022年までにarXivに投稿された論文を3本以上執筆した人は計29,399人で、そのうち2026年9月時点で、2023年以降にarXivに投稿された論文を1本以上執筆していたのは24,979人だった。基準1と3を満たすこの24,979人のうち、24,906人をOpenAlexの著者レコードと対応づけることができ、そのうち23,828人がコアジャーナルに5本以上の論文を発表していた。

「実績のある著者」の絞り込みは、商用のAIツールが普及する前から継続的に数学論文を発表してきた著者のあいだで、AI利用の明記の傾向を追跡しやすくするためのものである。数学者を評価するものではなく、ここで説明した方法論の限界の影響も受ける。

付録

表1. AIのキーワード

グループキーワード
一般的な用語AI, A.I., artificial intelligence, generative AI, GenAI, AI tool / assistant / model / system / chatbot / agent, AI-assisted, use of AI, large language model, language model, LLM
OpenAIChatGPT, GPT, GPT-4 / GPT-5 / GPT-4o, o3, o4, Codex, OpenAI
AnthropicClaude, Claude Code, Anthropic, Fable, Opus, Sonnet, Haiku
Google / DeepMindGemini, Deep Think, Gemma, DeepMind, AlphaProof, AlphaEvolve, AlphaGeometry, AlphaTensor, FunSearch, X-Evolve
その他のモデル開発者DeepSeek, Qwen, Kimi, Llama, Mistral, Grok
コーディング支援ツールGitHub Copilot, Copilot, Cursor, Devin
数学向けAIシステムAxiomProver / Axiom Math, Aristotle, Rethlas, Danus, Eureka, TxGraffiti, DeepMath, AI proof assistant

表2. 用途のタグ

タグ定義区分
main_results_generated論文の主結果、または主定理の証明をAIが考え出した。実質的な研究
specific_result_generated論文中の、名前または番号の付いた特定の結果・証明・構成・上下界・反例がAIの功績とされている。実質的な研究
statement_generated主結果である予想または定理の主張を、AIが作り出した、または提案したとされている。実質的な研究
substantial_proof_contributions証明に対する実質的・決定的・不可欠な貢献がAIの功績とされており、その程度が明らかに共著者に値する。実質的な研究
vague_proof_contributionsAIが証明を手伝った、補助した、証明に貢献したとされているが、その書き方が弱く、実質的な貢献を示すには足りない。研究の補助
proof_ideasAIが証明の小さな補助をしたとされている（アイデア出し、着想や直感の検証、例の探索、定数の改善）。研究の補助
math_checkingAIが証明・定数・導出を検証した、または数学的な誤りを見つけたとされている。研究の補助
formalization_assistAIが論文の結果の形式化を補助した。形式化
code_computationAIがコードの作成、または計算やシミュレーションの実行を手伝った。コードと計算
literature_searchAIが参考文献、関連研究、関連する既知の結果を探すのを補助した。文献調査
writing_polishAIが文体、文法、言い換え、LaTeXや書式、文章の校正を補助した。執筆
draft_text_generatedAIが原稿のかなりの部分を書いた。執筆
translationAIが原稿や資料の言語間の翻訳を補助した。執筆
figures_mediaAIが図、図表、イラストなどのメディアの生成を補助した。公開対象外
purpose_unstatedAIの利用は明記されているが、論文中のどこにも目的が書かれていない。公開対象外
other正真正銘のAI利用の明記だが、書かれている目的が上のどのタグにも当てはまらない。公開対象外

表3. 利用でないことを示すタグ

タグ定義
subject_matter論文の主題がAI、言語モデル、または証明支援系である。こうした論文は、AIの利用を明記していても明記率の計算から除く。
no_use_declared著者が、どの用途にもAIを使っていないと明言している。別の否定率として数える。
name_collision一致した語が人名、無関係な固有名詞、または数学の記法である。
passing_mentionAIに関する語が、引用、関連研究、または余談に出てくるだけである。

← データの解説一覧へ

Epoch AI の許可を得た非公式の日本語訳です。原文とデータ：Epoch AI（CC BY 4.0）。翻訳とグラフ：AGI Hub。このサイトについて

非公式の日本語訳公式ページ（英語）：epoch.ai/data/arxiv-documentation