ai:localllm
Local LLM : メモリを増設した普通の PC 上で 100b 以上の LLM を使用する
メモリを増やした普通の PC (2025年の相場で 28万円くらい) 上で走らせられる 100b 以上 (1000億以上) の巨大なパラメータ数を持つ LLM についてまとめています。 120b クラスであれば RAM 96GB 以上と VRAM 16GB で実行可能です。エージェント向けに Context Length を増やす場合は RAM 128GB 以上推奨です。
| 2026/03/24 23:27 | |
| 2026/03/13 17:34 | |
| 2026/03/13 17:34 | |
| 2026/03/27 14:14 | |
| 2026/03/23 22:18 | |
| 2026/03/27 12:05 |
Agent Tools
| 2026/02/18 22:58 | |
| 2026/02/11 19:54 |
| 2026/02/27 16:22 |
Models
100b 以上のオープンモデル
| Model | parameters | active | image | release | Win11 9700X DDR5 128GB RTX 5060Ti 16GB | Linux i7-13700 DDR5 96GB RTX 4060Ti 16GB | Linux 3950X DDR4 128GB RTX 4060Ti 16GB | Win11 5700X DDR4 96GB RX 9060 XT 16GB | Win11 EVO-X2 128GB AI Max+ 395 |
|
|---|---|---|---|---|---|---|---|---|---|---|
| Alibaba | Qwen3-2507 | 235B | A22B | 2025/07/22 | 6.8 tps (Q3_K_XL) | |||||
| OpenAI | gpt-oss-120b | 120B | A5.1B | 2025/08/05 | 24.3 tps (MXFP4) | 27.6 tps (MXFP4) | 21.3 tps (MXFP4) | 16.9 tps (MXFP4) | 47.5 tps (MXFP4) | |
| DeepSeek | DeepSeek-V3.2 | 671B | A37B | 2025/12/01 | ||||||
| Mistral AI | Mistral-large-3 | 675B | A41B | 2025/12/02 | ||||||
| Xiaomi | MiMo V2-flash | 309B | A15B | 2025/12/16 | ||||||
| Moonshot AI | Kimi K2.5 | 1.04T | A32B | Y | 2026/01/27 | |||||
| Z.ai | GLM-5 | 744B | A40B | 2026/02/12 | ||||||
| MiniMax | MiniMax M2.5 | 230B | A10B | 2026/02/13 | 11.6 tps (Q3_K_XL) | |||||
| Alibaba | Qwen3.5 397b | 397B | A17B | Y | 2026/02/16 | |||||
| Alibaba | Qwen3.5 122b | 122B | A10B | Y | 2026/02/24 | 17.1 tps (Q4_K_M) | 18.8 tps (Q4_K_M) | 14.7 tps (Q4_K_M) | 11.9 tps (Q4_K_M) | 27.6 tps (Q4_K_M) |
| NVIDIA | Nemotron 3 super | 120B | A12B | 2026/03/11 | 11.4 tps (Q4_K_M) | 13.1 tps (Q4_K_M) | 9.7 tps (Q4_K_M) | 7.0 tps (Q4_K_M) | 15.7 tps (Q4_K_M) | |
| Mistral | Mistral Small 4 | 119B | A6B | Y | 2026/03/17 | 17.9 tps (Q4_K_M) | 19.2 tps (Q4_K_M) | 14.5 tps (Q4_K_M) | 14.1 tps (Q4_K_M) | 33.8 tps (Q4_K_M) |
- ctx-size 4096
- vision 対応でも計測時は mmproj 無し
- Linux は GUI 無し
ai/localllm.txt · 最終更新: by oga