2025/08/05 に登場した gpt-oss は、巨大なパラメータ数を持ちながら PC 上でも比較的高速に動作する非常に画期的なモデルでした。

CPU のメモリ帯域は巨大なパラメータ数のモデルを扱うには遅すぎるので、数倍から十数倍高速な GPU の VRAM に格納しておく必要があります。 ところが VRAM は高価であり簡単に拡張できるものではありませんでした。 巨大なモデルを格納できるほど大きな VRAM を載せた GPU は数十万円～数百万円します。

個人で手に入る 10万円前後の GPU の VRAM 容量で言えばだいたい多くて 16GB です。 24GB ～ 32GB になると、30～60万円クラスに跳ね上がります。

VRAM 16GB に完全に載せられる Local LLM のサイズはおよそ 14b までです。 例えば qwen3:14b の場合は VRAM 16GB に 100% 収まり、かつ Context Window サイズも 16K まで指定できます。 要約のような小さいタスクであればこれで十分で、パソコンでもかなり高速に動作します。