トピック
オープンウェイトモデル
世界で最も強力なAIシステムの中には、誰でもダウンロードして実行し、その上に開発を重ねられるものがある。一方、完全に非公開のままのものもある。こうしたオープンモデルには、モデルの中核となるパラメーターを公開するオープンウェイトのリリースも含まれ、最も高性能な非公開のシステムにますます迫りつつある。
Epochは、オープンモデルがどれだけ遅れているか、その差がどれほどの速さで縮まっているか、そしてフロンティアのAIの能力がどれほどの速さで広く利用できるようになるかを追跡している。
- データインサイトオープンモデルは最高水準のクローズドモデルに4か月遅れている
- レポートAI は IKEA 家具の組み立てを考える力を大きく伸ばしている
Epoch AIのIKEA家具組み立てベンチマークでのAIモデルのスコアは、10か月で28%から80%に跳ね上がった。オープンウェイトモデルはクローズドウェイトモデルに約7か月遅れている。3種類の家具の組み立てを撮った60枚の写真で、視覚的・空間的な推論をEpoch AIが試した。
- データインサイトオープンウェイトモデルは最高水準に平均でおよそ3か月遅れている
- データインサイトオープンウェイトモデルの学習は、よりデータ集約的になっている
オープンウェイトのLLMで、アクティブパラメーターに対する学習データの比率は、2022年以降年3.1倍で伸びている。最近のLLMは、2022年のChinchillaのスケーリング則が示す最適な比率と比べて、パラメーターあたり20倍のデータで学習されている。
- ニュースレターDeepSeek-R1の学習には何が投じられたのか？
今号のGradient Updatesでは、DeepSeek-R1のアーキテクチャ、学習コスト、価格設定を探り、OpenAIのo1に匹敵する性能を30分の1の費用で実現していることを示す。
