ユーザ用ツール

サイト用ツール


ai:localllm30b

PC 上で動く 30b 前後の Dense LLM

30b 前後の LLM には Dense と MoE の 2種類があります。

MoE の方が高速ですが Dense の方が性能は上です。また生成速度だけ見れば 120b 前後の MoE の方が 30b 前後の Dense よりも高速です。

速度

30b 前後の MoE > 120b 前後の MoE > 30b 前後の Dense 

Dense

Model params release Ryzen 7 9700X
Radeon AI Pro R9700 32GB
Ryzen AI Max+ 395
EVO-X2 128GB
Core i7-13700 DDR5 96GB
GeForce RTX 4060 Ti 16GB
Alibaba Qwen3.5 27b 27b 33.12 tps 11.65 tps 7.20 tps
Alibaba Qwen3.6 27b 27b 33.12 tps 11.65 tps 7.20 tps
Google Gemma 4 31b 31b tps tps tps
IBM Granite 4.1 30b 30b 2026/04/30 tps tps tps

MoE

Ryzen 7 9700X
Radeon AI Pro R9700 32GB
Ryzen AI Max+ 395
EVO-X2 128GB
Core i7-13700 DDR5 96GB
GeForce RTX 4060 Ti 16GB
GLM-4.7 Flash 30b a3b tps tps tps
Qwen3.5 35b-a3b 35b a3b tps tps tps
Qwen3.6 35b-a3b 35b a3b tps tps tps
Gemma 4 26b 26b a4b tps tps tps
Lagna-xs.2 33b a3b tps tps tps
ai/localllm30b.txt · 最終更新: by oga

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki