2025/08/05 に登場した gpt-oss は、巨大なパラメータ数を持ちながら PC 上でも比較的高速に動作する非常に画期的なモデルでした。

CPU のメモリ帯域は巨大なパラメータ数のモデルを扱うには遅すぎるので、数倍から十数倍高速な GPU の VRAM に格納しておく必要があります。 ところが VRAM は高価であり簡単に拡張できるものではありません。 LLM を載せられるほど大きな VRAM を載せた GPU は数十万円～数百万円くらいします。

個人で手に入る 10万円前後の GPU の VRAM 容量で言えばだいたい多くて 16GB です。 24GB ～ 32GB になると、30～60万円クラスに跳ね上がります。

VRAM 16GB に完全に載せられる Local LLM のサイズはおよそ 14b までです。 例えば qwen3:14b の場合はちょうど 16GB の VRAM に収まり、かつ Context Window サイズも 16K まで指定できます。 要約のような小さいタスクであればこれで十分で、パソコンでもかなり高速に動作します。 比較的性能の低い GeForce RTX 4060 Ti 16GB (ctx 4096) でも 28 tps ほどで動きます。

ですが、Tool を多用したり少々複雑なタスクを Agent として走らせたり、コーディングなどの専門知識が必要なケースだと 14b は少々心もとなくなってきます。 そのためタスクによってはより上位の 32b や 70b が欲しいでしょう。

RAM さえ大量に詰めば CPU 上で動くことは動くのですが、32b でも CPU では 2 tps (Token/sec) 前後、VRAM 16GB の GPU を併用しても 6 tps 程度しか出ません。 70b に至っては、CPU だと 1 tps、VRAM 16GB の GPU 併用でも 2 tps 未満と実用には程遠い速度でした。

各パラメータ数のモデルにおける速度の比較はこちらのページに掲載しています