購入するAI用のPCを考える②

※このブログの内容は半分以上メモです書いている日もバラバラでなんの検証もしてないのでオクタチャンネルへの希望を持つことは推奨しません。

RTX5090で結構満足しているがやっぱり70B動かしたいなと考え年内または来年購入するPCを考えます。

7900xtxを2枚買って48GBを考えていたがそもそも通常マザーボードに7900xtxの2.5スロット厚を2枚はライザーでも使わないとささらないです。

PCケースに収めたいのでライザーは候補から外します。

とりあえず7900xtxはEATXならささるかもしれないけど買ってささらなかったら悲しいので 年末ごろEATXマザーボードを買ってから考えようかなASUSの画像的にはささりそうだけど

Intel Arc Pro B60 Dual 48Gもなんと一般販売はないだろうと言われました。
(代理店とか通すと2倍,3倍はします。買うならサーバーセットですかね)

そこでWindows PCでどれだけMac Studio 512GB(1,493,800円)に近づけるかで考えたのが適当なIntelのGPUと ASUS PRO WS W790E-SAGE SEというオクタチャンネル動作が可能なマザーボードを使うことである。

※メモリ速度が早ければ共有GPUメモリを割り当てられてもボトルネックが少ないはずなので(要検証)

まずこのオクタチャンネルを使うにあたりDDR5という条件が必須である。

DDR4 でもCPUが2スロットあるものであればクアッドチャンネルx2で実質オクタチャンネル(違うかもしれない)

ですがddr4 だと帯域幅に結構差が付きます。

---

DDR5-4800 (4800 MT/s) の場合:(64GB*8枚とします)

メモリ帯域幅=(4800/1000)×8×8(チャンネル) =4.8×8×8 GB/s =307.2 GB/s

---

DDR5-4800を使う理由は64GBメモリがこのクロック数より上だと24GBしかないんですよね・・・

※もしメモリ容量を妥協できるなら速度は以下です DDR5-6800 (6800MT/s) の場合:435 GB/s

DDR4だと安いけど以下みたいな感じかなおそらくもう中古になるのと Dual CPUになりますが

メモリ帯域幅 = (2400/1000)×8×8(チャンネル) = 2.4 × 8 × 8 = 153.6GB/s

153GB/sでも確かに十分早いのですがユニファイドメモリにはやっぱり負けますねこれならRyzen™ AI Max+ 395とかのほうが消費電力的にもいいですね。

以上からASUS PRO WS W790E-SAGE SEにIntel Arc Pro B60 24GBも4枚ぎりつめそうなので96GB+DDR5 オクタチャンネルによる共有GPUが半分乗せれるので200GBクラスがいけるかも？ということです。

あとは7月にでるはずのRadeon AI PRO R9700が20万以下なら候補かも・・・

Intel Arc Pro B60を複数枚買うにしろRadeon AI PRO R9700を複数買うにしろ帯域は450～640GB/sなので共有GPUとしてオクタチャンネルメモリで割り当てればボトルネックが抑えられる気がしますが 検証動画がみつからないので誰か試してください・・・（CPUとGPU間でボトルネックがでるかもそれでもある程度は抑えられるはず）

Mac Studio 512GBは高いわりに推論以外やることがほかのある程度のPCでできるの買いたくはないです。
（8K動画編集しない人は何に使っているのか気になります・・・なにかしらのシミュレーションとか？）

RTX PRO 6000は結局複数買わないと70B動かして喜ぶかしかできないです。
(Nvidiaならファインチューニングとかに使えるのでありだとは思います。値段以外)

結論は推論目的ならAPIをレンタルしたほうが安上がりかもです。

私はそれでもローカル構築を目指しますが・・・