自宅のPCでLLMが動く！ オープンソースの視点からひも解く生成AIの現在と未来
【23-A-2】自宅PCで生成AI！？ 手軽に試して未来を体感 ～AI革命の推進力：オープンソースの可能性～
自宅PCでオープンLLMを実行してみる
以上、オープンLLMの現状を述べてきた石川氏だが、実感するにはやはり手を動かして体験することが一番と断言。自宅PCでオープンLLMを実行するデモを行った。
デモで使ったのは、Red Hatの開発チームが中心となってOSS開発するPodman Desktopだ。RHELに標準搭載（RHEL 8以降）された、Docker互換のあるコンテナ構築・管理・実行ツールであるPodmanのGUIツールで、WindowsやmacOS、Linux環境で利用できる。
このPodman Desktopのエクステンションに、ローカル端末でAI実行をサポートする拡張機能「Podman AI Lab」がある。チャットやコード補助、物体検知、音声認識などのユースケースをあらかじめ準備されたレシピから簡単に実行できるのが特徴だ。「AIアプリケーション開発をするとき、毎回クラウドAPIを利用するのはコストがかかる。Podman DesktopとPodman AI Labの組み合わせであれば、ローカル環境でAIを動かしてAIアプリケーションを開発できる」（石川氏）
デモでは、Podman AI Labプラグインを開いてChatBotやSummarizer、Code Generationなど各レシピカタログを紹介。その1つのChatBotを開いてモデルを一覧表示し、「Start AI App」ボタンをクリック、起動するとチャットボットのページが利用できるようになった。
「GPUではなくCPUで推論させているが、それなりのスピードで反応が返ってくることが分かる。これをぜひ自身のPCで体験してもらいたい」（石川氏）
Red Hatは「The future of AI is Open（AIの未来はオープン）」という標語を掲げている。
「オープンLLMは大きく発展しており、今以上にAI活用の可能性も広がる。Red Hatはそうしたオープンソースの可能性を信じて、ユーザーのAI活用をサポートしていきたい」（石川氏）
Red Hat でオープンソースの AI/ML イニシアチブを前進させる
Red Hat OpenShift AIに移行して、組織全体でプロダクショングレードの一貫性、柔軟性、サポートを獲得しましょう。詳細は資料のダウンロードページからご確認ください。
この記事は参考になりましたか？
既に会員の方はを行ってください。
- Developers Summit 2024 Summer レポート連載記事一覧
- この記事の著者
-
谷崎 朋子（タニザキ トモコ）
エンタープライズIT向け雑誌の編集を経てフリーランスに。IT系ニュースサイトを中心に記事を執筆。セキュリティ、DevOpsあたりが最近は多めですが、基本は雑食。テクノロジーを楽しいエクスペリエンスに変えるような話が好きです。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
-
丸毛 透（マルモ トオル）
インタビュー（人物）、ポートレート、商品撮影、料理写真をWeb雑誌中心に活動。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
提供：レッドハット株式会社
【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社
この記事は参考になりましたか？
この記事をシェア
