Cognitionは11月4日（現地時間）、コーディング向けAIモデル「SWE-2 Flash」を発表した。Devin DesktopおよびCLIで利用でき、同社のより大規模なモデル「SWE-2」と比べて価格は5分の1、速度は3倍だという。11月30日までは無料で提供される。
SWE-2 Flashは、Thinking Machinesの「Inkling-Small」（総パラメータ276B、アクティブパラメータ12B）をベースとする。今回初めて、強化学習の前に中間学習（mid-training）の段階を追加した。これにより、ベースモデルと比べてTerminal-Bench 4.0のスコアは0.9％から20.0％に、FrontierCode 2.0は3.2％から24.0％に向上した。同社によると、主要な評価において、3倍の規模のモデルを含む米国製のオープンウェイトモデルを上回ったとしている。
中間学習には、高品質な科学論文やブログ、コードなどからなる数兆トークンのデータセットを用い、3段階で学習を行った。その後の大規模な強化学習では、タスクの品質と多様性を高めた。
また、サイバーセキュリティ作業を対象とした学習により、ExploitBenchのスコアは11.3％から34.8％に向上した。悪用のリスクを考慮し、重みは現時点では一般公開しない。信頼できる業界パートナーや研究機関に重みを安全に共有するプログラムを構築中で、詳細は数週間後に公表するという。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
