CPU: AMD Ryzen 7 8700G with Radeon 780M *1
M/B: MSI PRO B650M-A WIFI
Memory: VENGEANCE DDR5-AMD EXPO(5600MT/s C40) 64GB(32GBx2)
Main Storage: Intel 1TB SSD M.2 NVMe
Sub Storage: ADATA 240GB SSD SATA / SanDisk 240GB SSD SATA
Power Unit: ANTEC CSK650(80PLUS BRONZE 650W)
Case: Prime AP201 Tempered Glass MicroATX Case White
このようにPCの構成パーツをブログに記述するのも随分久しぶりだ。昔ほどは熱くもなく、でも冷めてはいない自作PC熱。たまには楽しい。Storageは手持ちの再利用。その他はThermalrightの光るCPUクーラーと、オウルテックの光るケースFANが2個。「何故光らせる！？」と思っていたが、M/BにARGBやらJRGBやらの端子が生えていたら使ってみたくはなる。古参自作erは別に光らせたいのではなく、本能である「端子を埋めたい欲」が刺激された結果として光らせてしまうのではなかろうか（そんなバカな）
さて本題。メモリを64GB載せてBIOS設定でUMA Frame Buffer Sizeを最大の16GBに設定したら、Windows上では共有GPUメモリも含めてiGPUがメモリを40GB弱まで使える状態になった。APUのスペックとしては最大32GBという話だった気がするが、もちろん多い分には大変結構なことだ。メモリを128GBにしたらもっと増えちゃうとか？
早速「思ってたよりデカいLLMが動くぜヒャッホー！」となった。
しかし直後には「CPUよりチョト速い程度か...」となった。
知ってたけど。
ローカルLLMを活用するためには、現時点で手に入るパーツで構成しようとするとコスト的にもサイズ的にも省エネ的にもなかなか厳しい。演算能力はもちろんメモリ帯域とメモリ容量も高度に求められるが、程よいdGPUが無いんだよね。
今回の私のマシンは総予算が11万弱。そこそこゲームもできるし、お試し程度にLLMも動かせるし、電気もあまり食わないし、やはりAPU機はトータルでコスパが良いと言える。まずは十分満足だが、ここからさらに快適なLLM運用のためにワンランク上を目指すとしたら？
（１）グラボを積む
（２）メモリを強化する
（３）Apple M4 Macに買い替える
のいずれかになる。何故いきなりM4 Macが出てくるかと言えば「メインメモリ」の帯域が非常に広いからだ。当然GPUとNPUがインテグレートされているので「下手なdGPUよりM4がよい選択なのでは！？」となっているのだ。
Apple「M4」シリーズのメモリ仕様、どう変わったかを解説 LPDDR5X初採用の効果は - ITmedia NEWS
WindowsのデスクトップでスタンダードなDDR5-4800／デュアルチャネルで76.8GB/sのところ、M4 MacはLDDR5Xを採用し最大で546.1GB/sを実現している。その辺りに特化したdGPUではRadeon RX 7800 XTが624GB/s、Radeon RX 7600 XTが288GB/sなのだから相当なもの。「オマエはCPUの付きのグラボか？」みたいな感じだ。
新Mac miniでLLMを動かした場合の性能 - シンギュラリティ実験ノート
この辺の事情については、こちらの記事が大変判りやすく有用だった。感謝感謝。偶然にも私の新マシンと同じAPUに、同じ帯域のメモリを積んだ「UM790 Pro」で試されていて、Radeon 780Mでの性能はほぼ同じようだ。私自身が試した結果については以下に記述しいる。
「Ryzen 7 8700G」のiGPUで「LM Studio」「ollama」「Stable Diffusion」と戯れる #Windows - Qiita
現在のマシンは30Bクラスのモデルで「5token/sec」がせいぜい。これが「15token/sec」になってくれたら相当実用的だ。すなわち、メモリ帯域は3倍以上を求めたい。メモリ容量は、次々とより大きなモデルを試したくなる世相を勘案したら多いほどよい。あとはやはり値段だ。というわけで、候補となりそうなブツを適当に調べてみた。
（2025/1/29現在）
「メモリ帯域」「メモリ容量」「価格」の3列に濃い色が付いたら有力候補なのだけど該当はナシ。辛うじて「Radeon RX 7900 XTX」と「Radeon RX 7900 XT」は３列色が付く。売れ筋だよね。あとはメモリ容量を諦めたら「Arc A770 16GB」のコスパが光るか。本当に欲しいのは「速度ソコソコでメモリが多いグラボ」なのだよ。絶対に需要があるでしょ。何故無いのか？
M4 Macの場合、帯域考えたらM4 Pro以上。高いね（苦笑）。しかし、グラボだけで40万円の「GeForce RTX 5090」とコミコミ60万円の「Apple M4 Max」を比較したら、後者のほうがバランスが良い。dGPUと違いOSが使う分も勘定しなければならないが、最小構成の48GBでも32GB以上をLLMに割けるだろう。ノート型で省電力なのも魅力だ。まぁ、化け物が欲しいなら「GeForce RTX 5090」だが、M4 Maxでも30Bクラスのモデルで「30token/sec」程度は期待できる。十分だろう。
メモリの変更だけではどう足掻いても帯域的に厳しそうだ。現在のDDR5を使うプラットフォームのiGPUでは、オーバークロックでカリカリにチューンしたとしても150GB/s辺りが限界。仮にクアッドチャネルなど実現出来ればDDR5のままでも300GB/sが見えてくる？しかし、現実はメモリ4枚刺しするだけで動作周波数に制限が出る始末だ。
IntelもAMDもモバイルCPUではApple M3/M4と同じくLDRR5/LDRR5Xを採用している。省電力技術が発達し、パーツ同士を密に統合できる分だけモバイルのほうが性能を稼げる時代になっているのかもしれない。デスクトップ用の省電力CPUの選択肢は消え、ミニPCではモバイルCPUを使うのがスタンダードになってきた。旧来の「デスクトップ」の領分はますます狭くなっていくのだろう。
AMD次世代APU「Krackan Point」の詳細が判明 - Zen 5ハイブリッドコア採用で2025年のメインストリーム市場に挑む | XenoSpectrum
昨年からiGPUとNPUに力が入っているAMDだが、次あたりM4 Macとタメを張れるモノが出てくるんじゃないだろうか？と期待している。となればミニPCでの登場が待たれるところ。う～ん。ということは「待ち」が正解だな。多分（笑）
