gpt-oss 120b (1200億) パラメータのモデルを自分のパソコン上で動かす

gpt-oss 120b はパラメータ数が多いですが、RAM が 96GB 以上あるパソコンなら動作します。 もちろん高速な VRM を搭載した GPU が必要です。

2025/08/05 に登場した gpt-oss は、巨大なパラメータ数を持ちながら PC 上でも比較的高速に動作する非常に画期的なモデルでした。

CPU のメモリ帯域は巨大なパラメータ数のモデルを扱うには遅すぎるので、数倍から十数倍高速な GPU の VRAM に格納しておく必要があります。 ところが VRAM は高価であり簡単に拡張できるものではありません。 LLM を載せられるほど大きな VRAM を載せた GPU は数十万円～数百万円くらいします。

個人で手に入る 10万円前後の GPU の VRAM 容量で言えばだいたい多くて 16GB です。 24GB ～ 32GB になると、30～60万円クラスに跳ね上がります。

VRAM 16GB に完全に載せられる Local LLM のサイズはおよそ 14b までです。 例えば qwen3:14b の場合はちょうど 16GB の VRAM に収まり、かつ Context Window サイズも 16K まで指定できます。 要約のような小さいタスクであればこれで十分で、パソコンでもかなり高速に動作します。 比較的性能の低い GeForce RTX 4060 Ti 16GB (ctx 4096) でも 28 tps ほどで動きます。

ですが、Tool を多用したり少々複雑なタスクを Agent として走らせたり、コーディングなどの専門知識が必要なケースだと 14b では安定して動作できないケースがあります。 そのためタスクによってはより上位の 32b や 70b が欲しくなります。

RAM さえ大量に詰めば VRAM がなくても CPU 上で動くのですが、32b でも CPU では 2 tps (Token/sec) 前後、VRAM 16GB の GPU を併用しても 6 tps 程度しか出ません。 70b に至っては、CPU だと 1 tps、VRAM 16GB の GPU 併用でも 2 tps 未満と実用には程遠い速度でした。

各パラメータ数のモデルにおける速度の比較はこちらのページに掲載しています

この問題が gpt-oss 120b で一気に解決します。 32b でも CPU のみで 2 tps 前後、70b に至っては 1 tps 程度しか出なかったものが、gpt-oss 120b では 5～6 tps と数倍の速度が出ていることがわかります。 さらに GPU 利用時は 13～18 tps 出ており、32b を ollama + GPU x2 で走らせていた場合よりもパフォーマンスが高くなっています。

• ↑使用環境: Linux Ubuntu-24.04LTS : Ryzen 9 3950X + DDR4-3200 96GB + GeForce RTX 4060Ti 16GB/GeForce RTX 2070 Super 8GB

• ↑使用環境: Linux Ubuntu-24.04LTS : Ryzen 9 3950X + DDR4-3200 96GB + GeForce RTX 4060Ti 16GB

VRAM ほどメモリ帯域がない System RAM でこれだけ速度が出ているのは gpt-oss が MoE だからです。 実際のアクティブパラメータが 5.1b なのでメモリ帯域をそこまで必要としていません。

MoE を採用した LLM 自体は他にもあります。 例えば qwen3 30B-A3.3B や DeepSeek-R1 671B などが有名でしょう。 ですが、大きすぎず小さすぎず、120b と一般的な PC の RAM でぎりぎり手が届く範囲で十分大きなパラメータ数を持っている点がそれまでのモデルとは違っていました。 メインメモリ 96GB + VRAM 8GB～16GB で現実的なパフォーマンスで動くので、gpt-oss-120b は 14b では少々物足りないような複雑なタスクを走らせるのにはぴったりです。

以下は gpt-oss 120b をさまざまな環境で走らせた場合の比較です。 これら数値は 2025/08 に測定したもので、使用したソフトウエアのバージョンも当時のものです。

(L)/(M) の Ollama-Cloud は当時は Ollama-Turbo と呼ばれていました。 当初 (2025/08/07～14) は有料プランのみで、かつ利用者がまだすくなかったためか 3000 tps 以上と非常に高速です。 (ただしリリース直後は Function Calling (Tool) にバグがありきちんと動いていなかった)

その後メインメモリにも高速な RAM を採用し、かつ大容量 (128GB) 搭載した PC がいくつか発表されています。 これらのマシンでは更に高速に動作させることが可能です。

例えば Ryzen 9 AI+ 395 を搭載した GMKTec EVO-X2 の 128GB モデルは、昨年 (2025年) は 30万円前後と比較的安価に購入可能でした。 EVO-X2 では ctx window 4K で簡単な内容なら現在は 47 tps くらいで動作しています。 また ctx も 64K くらまでなら設定可能です。入力トークンが増えると速度は遅くなります。

以下は 2026年 2月時点での測定です。ソフトウエアも更新されており、パラメータ設定なども修正したためパフォーマンスは上がっています。