Microsoft、軽量小型な言語モデル「Phi-2」をリリース

　米Microsoftの研究機関であるMicrosoft Researchが有する機械学習基盤チームは、小規模言語モデル（SLM）Phiの最新版となる「Phi-2」を、12月12日（現地時間）にリリースした。

　Phi-2は、優れた推論能力と言語理解能力を備えた27億パラメータの言語モデルで、130億未満のパラメータを持つ基本言語モデルの中では、最先端のパフォーマンスを備えている。さまざまなベンチマークでは、モデルのスケーリングとトレーニングデータのキュレーションにおける新たなイノベーションによって、最大25倍のモデルと同等、あるいはそれを上回るパフォーマンスを実現する。

　同チームがPhi-2の開発にあたって使用したトレーニングデータには、モデルに科学、日常活動、心の理論といった常識推論と一般知識を教えるために、特別に作成された合成データセットが含まれる。教育的価値とコンテンツの品質を基準にフィルタリングされている、厳選されたWebデータを使用してトレーニングコーパスをさらに強化している。また、13億パラメータモデルであるPhi-1.5の知識を27億パラメータのPhi-2に埋め込むことで、トレーニングの収束を加速するとともに、ベンチマークスコアにおいて、明らかなパフォーマンス向上がみられた。

　Phi-2は、次の単語の予測目標を備えたTransformerベースのモデルで、NLPとコーディングのために合成データセットとWebデータセットを組み合わせた複数のパスからの、1.4Tトークンでトレーニングされている。トレーニングには96個のA100 GPUで14日間かかったという。人間のフィードバックによる強化学習（RLHF）による調整や、微調整の指示が行われていないベースモデルであるにもかかわらず、調整された既存のオープンソースモデルと比較して、毒性とバイアスに関して優れた動作が確認された。

　なお、Phi-2は言語モデルの研究開発を促進すべく、Azure AI Studioモデルカタログにて提供されている。