LM StudioでローカルLLMを起動し、マシン性能と設定の「リアル」を検証する

LM Studio×AnythingLLMで構築する「ハイブリッドAI」活用術 第2回

　前回は、ローカルLLMを社内で利用する際に避けて通れない「ハードウェア」と「モデル」の選び方について解説しました。ローカルLLMは、モデルをダウンロードして実行するだけなら、それほど難しいものではありません。しかし、実際に使い始めると、ハードウェアによる処理速度の違いや、さまざまな設定項目の意味など、実務で利用するために確認しておきたい点が見えてきます。そこで今回は、Mac StudioにLM StudioをインストールしてローカルLLMを実際に動かし、ハードウェアによる性能差や各種設定の意味を確認していきます。

読者ターゲット

• クラウドAIのコストやセキュリティ制限に悩み、代替案を模索しているエンジニア
• 社内ドキュメントやログを、安全かつ効率的にAIに扱わせたい開発者
• 自社向けのAI環境を構築したい人

LM Studioをインストールする

　では、LM StudioをMac Studioにインストールしてみましょう。

LM Studioのダウンロードとインストール

　公式サイトのダウンロードページ（図1）を開くと、各環境ごとのダウンロードが表示されます。今回の検証環境はApple Siliconを搭載したMac Studioなので、「Mac（Apple Silicon）」版を選択してダウンロードして通常の手順でインストールしてください。

図1：LM Studioのダウンロード画面

　なお、この段階ではまだLLM本体（モデル）はインストールされていません。

インストール後のハードの確認

　LM Studioをインストールしたら、Mac Studioの環境でハードウェアが認識されているか確認しましょう。画面左下の「歯車」アイコンをクリックし「Settings」を開きます。

　続いて、図2のように「Developer」メニューを開いて、「Developer mode」をONにします。

図2：Developer ModeをONにする

　Developer modeをONにすると、設定画面の「Hardware」メニューから、CPUやGPUなど、認識されているハードウェアを確認できます。

図3：Mac Studioでのハードウェア確認画面

　参考までに、Windows（ARM版）で同様の画面を開くと、図4のようにGPUが認識されていないことがわかります。

図4：Windows（ARM版）でのハードウェア確認画面

　SnapdragonにはGPUが搭載されていますが、確認時点のLM Studio（バージョン0.4.21）ではGPUが認識されず、ローカルLLMの推論に利用できませんでした。なお、対応状況は今後のバージョンで変わる可能性があります。

　もちろん、認識されるハードウェアは搭載されているGPUなどによって異なります。このように、Windows系のハードウェアは選択肢が豊富である一方、利用する環境によって対応状況が変わるため、初心者には分かりにくい部分でもあります。

LM Studio内のLLMエンジンの実体

　LM Studio内で動いているLLMを処理するためのエンジンは、llama.cppや、mlx-engine - が使われていますが、それらも図5のように「Runtime」画面で確認できます。

図5：Mac StudioでのRuntime画面

　また、Windows（ARM版）で同じ画面を開くと、図6のようにGPUが認識されていないことがわかります。

図6：Windows（ARM版）でのRuntime画面

　ここで注意したいのは、llama.cpp側が特定のGPUに対応していても、LM Studioに同じRuntimeや対応版が組み込まれているとは限らない点です。そのため、実際に利用する環境では、LM Studioの「Runtime」画面を確認し、どのエンジンやハードウェアが利用可能なのかを確認する必要があります。

　参考までに、筆者はLM Studioを各モデルの評価や使い勝手の確認に使っていますが、Linux環境などではllama.cppを自分でハードウェアに適した形にビルドして使っています。

　最初からllama.cppを自分でビルドして使おうとすると、初心者にとっては「何から始めればよいのか分からない」状態になりがちです。その点、LM Studioは、ローカルLLMを使い始めるための入り口として適しています。また、将来的に自分好みの環境を構築するときにも、モデルを実際に使ってみて疑問に感じた点を確認するための基準として役立ちます。