Appleは、12月18日、大規模言語モデル（LLM）の高速化を目指すNVIDIAとのコラボレーションの詳細を公開した。
Appleはすでに、LLM推論を加速させるための画期的な投機的デコード手法であるオープンソース「Recurrent Drafter（ReDrafter）」を公開していた。これは、RNNドラフトモデルを使用し、ビーム検索と動的ツリーアテンションを組み合わせることでLLMトークン生成を高速化し、高い性能を実現したもの。
今回、NVIDIAとの協業によって、このReDrafterをNVIDIA TensorRT-LLM推論加速フレームワークに適用。これにより、NVIDIA GPUを使用する機械学習開発者は、TensorRT-LLMを通じてReDrafterの高速トークン生成のメリットを簡単に享受できるようになる。
NVIDIA TensorRT-LLM と ReDrafter を使用した場合、従来と比べて1秒あたりに生成されるトークンの速度が2.7倍向上することがわかっている。そのため、レイテンシが大幅に短縮されると同時に、GPUの台数や消費電力も削減できる。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
