メインコンテンツまでスキップ

OpenAIのgpt-oss-120bがギリギリ動いた(速度テストだけ)

· 約2分
もみじーな
個人開発者

LM Studioでgpt-oss-120bがギリギリ動作したので報告です。

私の環境

項目詳細(製品名や型番など)
CPUUltra7 265K
GPURTX 5090
Memory64GB (DDR5-4800)

MoEっぽいので動くとは思いましたがまぁ使えなくはない速度でした。

一応,トークン速度(14.55token/s)でした。

長いコードを書かせてみましたが使えなくはないくらいの生成速度ですが他の30bなどのモデル速度と比較するとやっぱり生成時間が苦痛です。

文章生成だけならいいかもしれないですがコード生成だったり修正だと待ち時間がいやなので少なくとも80GB以上のメモリがグラボにあるならいいですがないならおとなしく30bかAPI使ったほうがでいいす。

モデルのロードも60GBを超えるのでメモリ帯域速度的にかなり遅かったです。

使えそうならメモリ増設しようかなと思ったけど今回はいいかな
(2枚刺しにしている理由はDDR5は4枚だと不安定になると聞いたから)