ai:openclaw:localllm
差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
| ai:openclaw:localllm [2026/04/07 22:56] – [🔵 Local PC にインストールした ollama コマンド経由で Ollama Cloud を使う場合] oga | ai:openclaw:localllm [2026/04/07 22:58] (現在) – [🟩 llama.cpp] oga | ||
|---|---|---|---|
| 行 293: | 行 293: | ||
| === サーバーの例 === | === サーバーの例 === | ||
| - | RAM 96GB + GPU VRAM 16GB | + | RAM 96GB + GPU VRAM 16GB の例 |
| < | < | ||
| - | llama-server --model Qwen3.5-122B-A10B-Q4_K_M-00001-of-00002.gguf --alias Qwen3.5-122B-A10B | + | llama-server --model Qwen3.5-122B-A10B-Q4_K_M-00001-of-00002.gguf --alias Qwen3.5-122B-A10B |
| </ | </ | ||
| - | RAM 128GB + GPU VRAM 16GB | + | RAM 128GB + GPU VRAM 16GB の例 |
| < | < | ||
| - | llama-server --model Qwen3.5-122B-A10B-UD-Q6_K_XL-00001-of-00004.gguf --alias Qwen3.5-122B-A10B | + | llama-server --model Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf --alias Qwen3.5-122B-A10B --ctx-size 65536 --host 0.0.0.0 --port 8080 --temp 0.6 --min-p 0.01 --top-p 0.95 --top-k 20 |
| </ | </ | ||
| ==== 🔵 他の PC 上で走っている llama-server を使用する場合 ==== | ==== 🔵 他の PC 上で走っている llama-server を使用する場合 ==== | ||
| 行 349: | 行 349: | ||
| " | " | ||
| }, | }, | ||
| - | " | + | |
| - | | + | |
| - | " | + | |
| - | }, | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | } | + | |
| } | } | ||
| } | } | ||
ai/openclaw/localllm.1775570185.txt.gz · 最終更新: by oga