スペック通りの性能が出ない──MangoBoostが埋めるギャップ
「我々はずっと『AMD GPUはスペック上NVIDIAより優れている』と言い続けてきた。ところが実際にお客さまのところに行くと、皆さん性能に不満を持っている」。MangoBoost CEOのJangwoo Kim氏は、自社の存在意義をこう表現した。
ソウル大学教授でもあるKim氏が2022年に立ち上げたMangoBoostは、AMDのGPUソフトウェア最適化に特化したスタートアップだ。問題の所在はGPUそのものではなく、ソフトウェアスタックにあるとKim氏は分析する。vLLMやSGLangといった優れた推論エンジンは存在するが、AMD GPUで最大限のパフォーマンスを引き出すには、スタック全体を理解したうえでのチューニングが必要だ。「これができるのは100〜200人規模のトップティアのシステムエンジニアを持つハイパースケーラー数社だけ」であり、一般企業には手が届かない。
MangoBoostが提供する「LLMBoost」は、そのギャップを埋めるソフトウェアだ。推論・学習・ファインチューニングをカバーし、最適な並列化手法の選択からGPU間通信ライブラリの最適化まで自動化する。講演では、vLLM標準比でスループット1.6倍、TTFT（最初のトークンが生成されるまでの時間）は最大416倍の短縮という実測値が示された。モデルのアーキテクチャ変更が大きかったDeepSeek v3.2への対応も2週間で完了させたという。
さらにKim氏が強調したのが、MLPerf[3]ベンチマークでの結果だ。世代の異なるGPU（MI300XとMI325X）を混在させた4ノード32GPU構成で、NVIDIA H100と同等の性能を達成したとする数値を発表したところ、「NVIDIAが監査を実施しました。そして『これは本物だ』と認めた」。Apple対Samsungの比喩を持ち出しながら、Kim氏はこう結んだ。「私たちがやっているのは、ハードウェアとソフトウェアを統合・最適化して、ひとつのシステムとして提供することです。さもないと一社支配が続いてしまう。我々はそれが嫌なんです」。
[3] MLPerfとは
機械学習システムの性能を標準化された条件で計測するベンチマーク標準。学習・推論の両フェーズをカバーし、GPU、TPU、専用AIアクセラレータなど異なるハードウェア間の公平な比較を可能にする。業界の事実上の性能指標として参照されており、MLPerfでの好成績は製品の競争力を示す証明として扱われる。
