ai:localllm:gptoss120b

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- ai:localllm:gptoss120b [2026/02/11 20:26] – oga
+++ ai:localllm:gptoss120b [2026/02/11 20:44] (現在) – [Local LLM とパラメータ数] oga
@@ 行 1: / 行 1: @@
 ====== gpt-oss 120b 夢の 120b (1200億) パラメータのモデルを自分のパソコン上で動かす ======
+===== Local LLM とパラメータ数 =====
 [[https://openai.com/ja-JP/index/introducing-gpt-oss/|2025/08/05 に登場した gpt-oss]] は、巨大なパラメータ数を持ちながら PC 上でも比較的高速に動作する非常に画期的なモデルでした。
 CPU のメモリ帯域は巨大なパラメータ数のモデルを扱うには遅すぎるので、数倍から十数倍高速な GPU の VRAM に格納しておく必要があります。
-ところが VRAM は高価であり簡単に拡張できるものではありませんでした。
+ところが VRAM は高価であり簡単に拡張できるものではありません。
-巨大なモデルを格納できるほど大きな VRAM を載せた GPU は数十万円～数百万円します。
+LLM を載せられるほど大きな VRAM を載せた GPU は数十万円～数百万円くらいします。
 個人で手に入る 10万円前後の GPU の VRAM 容量で言えばだいたい多くて 16GB です。
@@ 行 11: / 行 13: @@
 VRAM 16GB に完全に載せられる Local LLM のサイズはおよそ 14b までです。
-例えば qwen3:14b の場合は VRAM 16GB に 100% 収まり、かつ Context Window サイズも 16K まで指定できます。
+例えば qwen3:14b の場合はちょうど 16GB の VRAM に収まり、かつ Context Window サイズも 16K まで指定できます。
 要約のような小さいタスクであればこれで十分で、パソコンでもかなり高速に動作します。
+比較的性能の低い GeForce RTX 4060 Ti 16GB (ctx 4096) でも 28 tps ほどで動きます。
+ですが、Tool を多用したり少々複雑なタスクを Agent として走らせたり、コーディングなどの専門知識が必要なケースだと 14b は少々心もとなくなってきます。
+そのためタスクによってはより上位の 32b や 70b が欲しいでしょう。
+RAM さえ大量に詰めば CPU 上で動くことは動くのですが、32b でも CPU では 2 tps (Token/sec) 前後、VRAM 16GB の GPU を併用しても 6 tps 程度しか出ません。
+b に至っては、CPU だと 1 tps、VRAM 16GB の GPU 併用でも  2 tps 未満と実用には程遠い速度でした。
+各パラメータ数のモデルにおける速度の比較は[[:ai:ollama|こちらのページ]]に掲載しています
+<pagelist&date&nouser&list>
+  * [[:ai:ollama]]
+</pagelist>
+===== gpt-oss:120b の速度 =====

ai/localllm/gptoss120b.1770809215.txt.gz · 最終更新: 2026/02/11 20:26 by oga