ai:localllm30b
PC 上で動く 30b 前後の Dense LLM
30b 前後の LLM には Dense と MoE の 2種類があります。
MoE の方が高速ですが Dense の方が性能は上です。また生成速度だけ見れば 120b 前後の MoE の方が 30b 前後の Dense よりも高速です。
速度
30b 前後の MoE > 120b 前後の MoE > 30b 前後の Dense
Dense
| Model | params | release | Ryzen 7 9700X Radeon AI Pro R9700 32GB | Ryzen AI Max+ 395 EVO-X2 128GB | Core i7-13700 DDR5 96GB GeForce RTX 4060 Ti 16GB |
|
|---|---|---|---|---|---|---|
| Alibaba | Qwen3.5 27b | 27b | 33.12 tps | 11.65 tps | 7.20 tps | |
| Alibaba | Qwen3.6 27b | 27b | 33.12 tps | 11.65 tps | 7.20 tps | |
| Gemma 4 31b | 31b | tps | tps | tps | ||
| IBM | Granite 4.1 30b | 30b | 2026/04/30 | tps | tps | tps |
MoE
| Ryzen 7 9700X Radeon AI Pro R9700 32GB | Ryzen AI Max+ 395 EVO-X2 128GB | Core i7-13700 DDR5 96GB GeForce RTX 4060 Ti 16GB |
|||
|---|---|---|---|---|---|
| GLM-4.7 Flash | 30b | a3b | tps | tps | tps |
| Qwen3.5 35b-a3b | 35b | a3b | tps | tps | tps |
| Qwen3.6 35b-a3b | 35b | a3b | tps | tps | tps |
| Gemma 4 26b | 26b | a4b | tps | tps | tps |
| Lagna-xs.2 | 33b | a3b | tps | tps | tps |
ai/localllm30b.txt · 最終更新: by oga
