ベンチマーク
Remote Labor Index
経済的価値のある実際のリモートのフリーランス案件を、AIエージェントが最初から最後までどれだけうまくこなせるかを測るベンチマーク。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
Remote Labor Index（RLI）は、Center for AI SafetyとScale AIが作成したベンチマークで、経済的価値のある実際のリモートワークをAIエージェントがどれだけうまくこなせるかを測る。案件はフリーランス市場から取った本物の依頼で、ソフトウェア開発、デザイン、建築、データ分析、ゲーム開発、動画アニメーションにわたる。AIエージェントの能力を、報酬が支払われる実際の仕事の成果に直接結びつけるよう設計されている。
方法論
結果は、Center for AI SafetyとScale AIがそれぞれ運営する、公開のRemote Labor Indexリーダーボードから取得している。
RLIは、フリーランスの23の分野にわたる、それだけで完結した240件の現実の案件で構成される。専門家の仕事にして6,000時間を超え、金額にして14万ドルを超える分量である。エージェントは各案件に最初から最後まで取り組み、その成果物は、依頼を受けた人間の専門家の仕事に期待される水準に照らして判定される。主要な指標は自動化率、つまり専門家として受け入れられる水準で完了した案件の割合である。現在のスコアは低く、1桁台前半のパーセントにとどまっている。
詳しくはRemote Labor Indexの論文を参照。