Cloudflare、Workers AIにおいて8つの新たなモデルをリリース

　米Cloudflareは、Cloudflareのグローバルネットワーク上で、サーバレスGPUによる推論を実現する「Workers AI」において、8つの新たなモデルを2月7日（現地時間）にリリースした。

　今回、公開された新モデルのうち、テキスト生成を行うものは以下の通り。

• @hf/thebloke/llama-2-13b-chat-awq
• @hf/thebloke/zephyr-7b-beta-awq
• @hf/thebloke/mistral-7b-instruct-v0.1-awq
• @hf/thebloke/openhermes -2.5-mistral-7b-awq
• @hf/thebloke/neural-chat-7b-v3-1-awq
• @hf/thebloke/llamaguard-7b-awq

　コード生成を行うものは以下の通り。

• @hf/thebloke/deepseek-coder-6.7b-base-awq
• @hf/thebloke/deepseek-coder-6.7b-instruct-awq

　今回公開されたモデルの1つであるdeep-seek-coder-6.7bは、Code Llamaモデルと比較して一般的なベンチマークにて約15％高いスコアを示している。この高いスコアは、英語と中国語両方のコード生成データセットを含む、多様なトレーニングデータによって実現された。

　openhermes-2.5-mistral-7bは、高品質な微調整データセットによって、多くのLLMベンチマークにおいてベースモデルよりも約10％優れている。

　llama-2-13b-awqは、Activation-aware Weight Quantization（AWQ）が組み込まれたモデルで、量子化によるAIモデルにおける推論効率向上のトレードオフとなる、精度の低下を軽減できる。

　そのほか、llamaguard-7b-awqを使用すれば、プロンプトと応答を分類および確認することが可能になり、AIボットが意図せず不適切または有害な可能性のある回答を返してしまうことがないよう、プロンプトまたは応答が安全でない可能性がある場合にそれを検出して分類できるので、開発者が定義したカテゴリを使用してアプリケーションへの入出力を制御可能になる。