ai:localllm:mistralsmall4_119b
Mistral Small 4 119B-2603 (119b)
Mistral Small 4 119B-2603 を Local PC で動かす
| 量子化 | Size | OS | CPU | RAM | RAM | GPU | ctx | token/s | software | |
|---|---|---|---|---|---|---|---|---|---|---|
| Q4_K_M | 67 GB | Windows11 | Ryzen 7 9700X | DDR5-5600 | 128GB | GeForce RTX 5060Ti 16GB | 4096 | 13.32 tps | LMStudio 0.4.8 CUDA 12 v2.8.0 | PC1 gpu=7, cpu=0 |
| Q4_K_M | 67 GB | Windows11 | Ryzen 7 9700X | DDR5-5600 | 128GB | GeForce RTX 5060Ti 16GB | 4096 | 17.90 tps | llama.cpp CUDA 12 b8533 | PC1 |
| Q4_K_M | 67 GB | Ubuntu 24.04 | Ryzen 9 3950X | DDR4-3200 | 128GB | GeForce RTX 4060Ti 16GB | 4096 | 14.45 tps | llama.cpp CUDA 12 b8547 | PC2 |
| Q4_K_M | 67 GB | Ubuntu 24.04 | Core i7-13700 | DDR5-5600 | 96GB | GeForce RTX 4060Ti 16GB | 4096 | 19.17 tps | llama.cpp CUDA 12 b8547 | PC3 |
| Q4_K_M | 67 GB | Windows11 | Ryzen AI Max+ 395 | LPDDR5-8000 | 128GB | Radeon 8060S | 4096 | 32.53 tps | LMStudio 0.4.6 Vulkan v2.7.1 | PC4 EVO-X2 |
| Q4_K_M | 67 GB | Windows11 | Ryzen AI Max+ 395 | LPDDR5-8000 | 128GB | Radeon 8060S | 4096 | 33.78 tps | llama.cpp Vulkan b8429 | PC4 EVO-X2 |
| Q4_K_M | 67 GB | Windows11 | Ryzen 7 5700X | DDR4-3200 | 96GB | Radeon RX 9060 XT 16GB | 4096 | 14.13 tps | llama.cpp Vulkan b8502 | PC5 |
- PC 1 : Windows 11
- CPU: Ryzen 7 9700X (65W Default)
- RAM: DDR5-5600 128GB
- GPU: GeForce RTX 5060Ti 16GB
- PC 2 : Ubuntu 24.04
- CPU: Ryzen 9 3950X
- RAM: DDR4-3200 128GB
- GPU: GeForce RTX 4060Ti 16GB
- PC 3 : Ubuntu 24.04
- CPU: Core i7-13700
- RAM: DDR5-5600 96GB
- GPU: GeForce RTX 4060Ti 16GB
- PC 4 : Windows 11
- CPU: Ryzen AI Max+ 395
- RAM: LPDDR5-8000 128GB
- GPU: Radeon 8060S
- PC 5
- CPU: Ryzen 7 5700X
- RAM: DDR4-3200 96GB
- GPU: Radeon RX 9060 XT 16GB
設定など
- 注意: 計測時は、OS の電力設定を Performance (Windows の場合は最適なパフォーマンス) にしています。
llama.cpp
PC1 Ryzen 7 9700X + DDR5-5600 128GB + GeForce RTX 5060Ti 16GB + Windows 11
llama-server --model Mistral-Small-4-119B-2603-Q4_K_M-00001-of-00002.gguf --alias Mistral-Small-4-119B-2603 --ctx-size 4096 -t 8 --host 0.0.0.0 --port 8080 --temp 1.0 --top-p 1.0
PC2 Ryzen 9 3950X + DDR4-3200 128GB + GeForce RTX 4060Ti 16GB + Linux Ubuntu 24.04LTS
llama-server --model Mistral-Small-4-119B-2603-Q4_K_M-00001-of-00002.gguf --alias Mistral-Small-4-119B-2603 --ctx-size 4096 -t 16 --host 0.0.0.0 --port 8080 --temp 1.0 --top-p 1.0
PC3 Core i7-13700 + DDR5-5600 96GB + GeForce RTX 4060Ti 16GB + Linux Ubuntu 24.04LTS
llama-server --model Mistral-Small-4-119B-2603-Q4_K_M-00001-of-00002.gguf --alias Mistral-Small-4-119B-2603 --ctx-size 4096 -t 8 --host 0.0.0.0 --port 8080 --temp 1.0 --top-p 1.0
PC4 EVO-X2 Ryzen AI Max+ 395 + LPDDR5-8000 128GB + Radeon 8060S + Windows 11
BIOS (UEFI) で VRAM 割当を 96GB に変更しています。この場合 –no-mmap が必須です。
llama-server --model Mistral-Small-4-119B-2603-Q4_K_M-00001-of-00002.gguf --alias Mistral-Small-4-119B-2603 --ctx-size 4096 -t 16 --host 0.0.0.0 --port 8080 --temp 1.0 --top-p 1.0 --no-mmap
PC5 Ryzen 7 5700X + DDR4-3200 96GB + Radeon RX 9060 XT 16GB + Windows 11
llama-server --model Mistral-Small-4-119B-2603-Q4_K_M-00001-of-00002.gguf --alias Mistral-Small-4-119B-2603 --ctx-size 4096 -t 8 --host 0.0.0.0 --port 8080 --temp 1.0 --top-p 1.0
ai/localllm/mistralsmall4_119b.txt · 最終更新: by oga