ai:openclaw:localllm
差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
| ai:openclaw:localllm [2026/04/07 22:52] – [🔵 OpenClaw と同じ PC にインストールした Ollama を使う場合] oga | ai:openclaw:localllm [2026/04/07 22:58] (現在) – [🟩 llama.cpp] oga | ||
|---|---|---|---|
| 行 152: | 行 152: | ||
| - | ==== 🔵 Ollama | + | ==== 🔵 インストーラーを使う場合 ==== |
| 行 211: | 行 211: | ||
| ++++ | ++++ | ||
| - | ==== 🔵 他の PC 上で走っている ollama を直接使用する場合 ==== | + | ==== 🔵 直接 |
| + | |||
| 直接 ~/ | 直接 ~/ | ||
| 行 276: | 行 278: | ||
| - | ==== 🔵 Local PC にインストールした ollama コマンド経由で | + | ==== 🔵 Ollama Cloud を使う場合 ==== |
| - | + | ||
| - | この方法を使うと簡単にセットアップを行うことができます。 | + | |
| - | API Key を設定に書かなくて済むことや Web 検索機能が使えることからこちらの方法がお勧めです。 | + | |
| - | その代わり ollama コマンドのインストールが必要で、4.5 GB ほどストレージ容量を消費します。 | + | |
| - | + | ||
| - | + | ||
| - | === (1) ollama のインストール === | + | |
| - | + | ||
| - | あらかじめ OpenClaw が動作している PC やサーバー上に [[https:// | + | |
| - | + | ||
| - | * [[https:// | + | |
| - | + | ||
| - | + | ||
| - | また apiKey の代わりに '' | + | |
| - | + | ||
| - | + | ||
| - | === (2) OpenClaw の起動 === | + | |
| - | + | ||
| - | '' | + | |
| - | モデル指定を行わない場合はおすすめのモデルから選択できるようになります。 | + | |
| - | + | ||
| - | 例 | + | |
| - | + | ||
| - | * '' | + | |
| - | + | ||
| - | + | ||
| - | もしメニューでモデルを選択し直す場合は '' | + | |
| - | + | ||
| - | * '' | + | |
| - | + | ||
| - | + | ||
| - | この方法で OpenClaw をセットアップした場合は、ollama_web_search 用の plugin が自動的にインストールされます。 | + | |
| - | + | ||
| - | ++++🔵 Ollama cloud に直接アクセスする場合 (非推奨)| | + | |
| - | ==== 🔵 Ollama cloud に直接アクセスする場合 (非推奨) ==== | + | |
| - | + | ||
| - | + | ||
| - | この方法を使うと、Local PC 上に ollama コマンドをインストールしなくてもクラウド上のモデルを利用することができます。 | + | |
| - | ollama のランタイムはそれなりに大きいのでストレージの節約になります。 | + | |
| - | ただし今のところ vision モデルがうまく動作しません。 | + | |
| - | なお ollama_web_search を使う場合は、ollama コマンド経由でのインストールをお勧めします。 | + | |
| - | + | ||
| - | + | ||
| - | コンテキストウィンドウ長は必要に応じて修正してください。 | + | |
| - | apiKey が必要です。 | + | |
| - | + | ||
| - | <code javascript> | + | |
| - | { | + | |
| - | ~ | + | |
| - | + | ||
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | { | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | ], | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | }, | + | |
| - | " | + | |
| - | " | + | |
| - | }, | + | |
| - | { | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | ], | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | }, | + | |
| - | " | + | |
| - | " | + | |
| - | } | + | |
| - | ] | + | |
| - | } | + | |
| - | } | + | |
| - | }, | + | |
| - | + | ||
| - | ~ | + | |
| - | + | ||
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | }, | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | }, | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | } | + | |
| - | } | + | |
| - | } | + | |
| - | } | + | |
| - | </ | + | |
| - | + | ||
| - | ++++ | + | |
| + | OpenClaw 自体に Ollama Provider が含まれるようになったので特に何も必要ありません。 | ||
| + | あらかじめ ollama をインストールしておき、'' | ||
| 行 405: | 行 293: | ||
| === サーバーの例 === | === サーバーの例 === | ||
| - | RAM 96GB + GPU VRAM 16GB | + | RAM 96GB + GPU VRAM 16GB の例 |
| < | < | ||
| - | llama-server --model Qwen3.5-122B-A10B-Q4_K_M-00001-of-00002.gguf --alias Qwen3.5-122B-A10B | + | llama-server --model Qwen3.5-122B-A10B-Q4_K_M-00001-of-00002.gguf --alias Qwen3.5-122B-A10B |
| </ | </ | ||
| - | RAM 128GB + GPU VRAM 16GB | + | RAM 128GB + GPU VRAM 16GB の例 |
| < | < | ||
| - | llama-server --model Qwen3.5-122B-A10B-UD-Q6_K_XL-00001-of-00004.gguf --alias Qwen3.5-122B-A10B | + | llama-server --model Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf --alias Qwen3.5-122B-A10B --ctx-size 65536 --host 0.0.0.0 --port 8080 --temp 0.6 --min-p 0.01 --top-p 0.95 --top-k 20 |
| </ | </ | ||
| ==== 🔵 他の PC 上で走っている llama-server を使用する場合 ==== | ==== 🔵 他の PC 上で走っている llama-server を使用する場合 ==== | ||
| 行 461: | 行 349: | ||
| " | " | ||
| }, | }, | ||
| - | " | + | |
| - | | + | |
| - | " | + | |
| - | }, | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | " | + | |
| - | } | + | |
| } | } | ||
| } | } | ||
ai/openclaw/localllm.1775569970.txt.gz · 最終更新: by oga
