美団（Meituan）は、6月30日、新たな大規模MoE言語モデル「LongCat-2.0」を発表した。
LongCat-2.0は、総パラメータ数1.6兆、トークンあたり約480億のアクティブパラメータを持つ大規模なMoE言語モデル。以前のLongCatモデルから大幅にアップグレードしており、いくつかのアーキテクチャ上の改善も行われている。
トレーニングとデプロイはすべてAIチップASICスーパーポッド上で行われているのが特徴。長期タスクにおけるモデルの性能を強化するため、LongCat Sparse Attentionを導入した。1Mコンテキストデータの数千億トークンを用いて学習を行っており、さらに専用の事後学習と組み合わせることで、コーディングタスクやエージェントタスクにおいて高い性能を発揮するという。
アーキテクチャ設計はLongCat-Flashをベースに、パラメータ効率をさらに向上させ、長コンテキストの学習と推論の速度を向上している。アテンション（注意機構）にはDeepSeek Sparse Attentionを軽量化したLongCat Sparse Attention（LSA）を導入することで、モデルの品質を損なわずに長コンテキスト処理を高速化している。
さらに、モデル全体の能力を拡大するために、トレーニング後のパイプラインにエージェントエキスパート、推論エキスパート、インタラクションエキスパートの3つのカテゴリに分類された、専門的なエキスパートグループを導入。この3つのエキスパートのプロセスを経た後、それらの機能を統合するためにMOPDアーキテクチャを採用している。この統合によって、最終的なLongCat-2.0モデルは強力なエージェント実行、高度な推論、および高品質なインタラクションを兼ね備える。
LongCat-2.0は、Claude CodeやOpenClaw、Hermesといった主要なハーネスと深く統合されており、コード理解やリポジトリレベルの編集、自動タスク実行、エージェントワークフローなどにおいて優れたパフォーマンスを発揮するため、開発者にとっても効率的なコラボレーション体験を提供する。詳細はブログポストを参照のこと。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
