データの解説 数学研究でのAI利用

限界

原文:AI use in math research documentation – Limitations

AI利用の明記と用途の分類

AI利用の明記と用途の分類はAIモデル(GPT-5.6 Sol)が行っているため、誤りを含む可能性がある。分類の誤りがどの程度あるかは、「AI利用の明記と用途の分類」の節で推定している。AIの利用の開示だけから、AIが研究にどの程度貢献したかを判断するのは、人間が判定しても難しく、精度も低い。付けたタグはすべて、このデータエクスプローラーに対応するGitHubリポジトリで誰でも検証できる。分類の誤りは math@epoch.ai に報告できる。

自発的な開示

私たちが追跡しているのは、arXivのプレプリントの本文で自発的に開示されたAI利用の明記である。自発的な開示だけを測っているため、傾向にはAI利用の変化に加えて、開示のしかたの変化も表れている可能性がある。間接的な兆候や、AI利用と相関する文章の特徴など、AI利用を示すほかの指標は使っていない。AIへのプロンプトやAI利用の開示など、AI利用の兆候の一部は、本文ではなくソースファイルのコメントにだけ現れる。こうした兆候はデータから除いている。

著者の特定

著者の特定は不正確または不完全な場合がある。特に、名前がありふれている著者、キャリアの浅い著者、arXiv IDやORCIDを持たない著者は、私たちの方法では一人に特定しにくい。著者の誤りは math@epoch.ai に報告できる。

← データの解説一覧へ

非公式の日本語訳公式ページ(英語):epoch.ai/data/arxiv-documentation/limitations