SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

Microsoft、軽量小型な言語モデル「Phi-2」をリリース

  • X ポスト
  • このエントリーをはてなブックマークに追加

  • X ポスト
  • このエントリーをはてなブックマークに追加

 米Microsoftの研究機関であるMicrosoft Researchが有する機械学習基盤チームは、小規模言語モデル(SLM)Phiの最新版となる「Phi-2」を、12月12日(現地時間)にリリースした。

 Phi-2は、優れた推論能力と言語理解能力を備えた27億パラメータの言語モデルで、130億未満のパラメータを持つ基本言語モデルの中では、最先端のパフォーマンスを備えている。さまざまなベンチマークでは、モデルのスケーリングとトレーニングデータのキュレーションにおける新たなイノベーションによって、最大25倍のモデルと同等、あるいはそれを上回るパフォーマンスを実現する。

 同チームがPhi-2の開発にあたって使用したトレーニングデータには、モデルに科学、日常活動、心の理論といった常識推論と一般知識を教えるために、特別に作成された合成データセットが含まれる。教育的価値とコンテンツの品質を基準にフィルタリングされている、厳選されたWebデータを使用してトレーニングコーパスをさらに強化している。また、13億パラメータモデルであるPhi-1.5の知識を27億パラメータのPhi-2に埋め込むことで、トレーニングの収束を加速するとともに、ベンチマークスコアにおいて、明らかなパフォーマンス向上がみられた。

 Phi-2は、次の単語の予測目標を備えたTransformerベースのモデルで、NLPとコーディングのために合成データセットとWebデータセットを組み合わせた複数のパスからの、1.4Tトークンでトレーニングされている。トレーニングには96個のA100 GPUで14日間かかったという。人間のフィードバックによる強化学習(RLHF)による調整や、微調整の指示が行われていないベースモデルであるにもかかわらず、調整された既存のオープンソースモデルと比較して、毒性とバイアスに関して優れた動作が確認された。

 なお、Phi-2は言語モデルの研究開発を促進すべく、Azure AI Studioモデルカタログにて提供されている。

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/18802 2023/12/15 08:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング