Cursorは3月26日、同社のコーディングAI「Composer」の開発において、「リアルタイムRL（強化学習）」手法を活用し、5時間ごとに新バージョンをリリースできる体制を構築したと発表した。
従来、コーディングAIモデルはシミュレーション環境で訓練されることが一般的であったが、学習時とテスト時にミスマッチが生じるという課題があった。今回のリアルタイムRLでは、実ユーザーによる推論中のトークンを直接学習信号として収集。数十億のトークンごとにモデルを更新し、CursorBenchなどの評価を経て、約5時間ごとに本番環境へデプロイしている。この高速なサイクルにより、on-policyデータを維持しやすくなり、より現実的なユーザー行動に適応した学習が可能となった。
また、モデルによる「報酬ハッキング」への対策として、学習シグナルの抽出方法や報酬関数の調整例が紹介されている。さらに、今後は長時間タスクや業務特化型への適応も検討している。
現時点でComposer 1.5では、ユーザー不満のフォローアップ送信が−3.13％、編集維持率が＋2.28％、レイテンシが−10.3％改善されている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
