自宅PCでオープンLLMを実行してみる
以上、オープンLLMの現状を述べてきた石川氏だが、実感するにはやはり手を動かして体験することが一番と断言。自宅PCでオープンLLMを実行するデモを行った。
デモで使ったのは、Red Hatの開発チームが中心となってOSS開発するPodman Desktopだ。RHELに標準搭載（RHEL 8以降）された、Docker互換のあるコンテナ構築・管理・実行ツールであるPodmanのGUIツールで、WindowsやmacOS、Linux環境で利用できる。
このPodman Desktopのエクステンションに、ローカル端末でAI実行をサポートする拡張機能「Podman AI Lab」がある。チャットやコード補助、物体検知、音声認識などのユースケースをあらかじめ準備されたレシピから簡単に実行できるのが特徴だ。「AIアプリケーション開発をするとき、毎回クラウドAPIを利用するのはコストがかかる。Podman DesktopとPodman AI Labの組み合わせであれば、ローカル環境でAIを動かしてAIアプリケーションを開発できる」（石川氏）
デモでは、Podman AI Labプラグインを開いてChatBotやSummarizer、Code Generationなど各レシピカタログを紹介。その1つのChatBotを開いてモデルを一覧表示し、「Start AI App」ボタンをクリック、起動するとチャットボットのページが利用できるようになった。
「GPUではなくCPUで推論させているが、それなりのスピードで反応が返ってくることが分かる。これをぜひ自身のPCで体験してもらいたい」（石川氏）
Red Hatは「The future of AI is Open（AIの未来はオープン）」という標語を掲げている。
「オープンLLMは大きく発展しており、今以上にAI活用の可能性も広がる。Red Hatはそうしたオープンソースの可能性を信じて、ユーザーのAI活用をサポートしていきたい」（石川氏）
Red Hat でオープンソースの AI/ML イニシアチブを前進させる
Red Hat OpenShift AIに移行して、組織全体でプロダクショングレードの一貫性、柔軟性、サポートを獲得しましょう。詳細は資料のダウンロードページからご確認ください。
