HYPERでんち

ユーザ用ツール

サイト用ツール

現在位置: start » ai » ollama
トレース:
ai:ollama

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
ai:ollama [2025/03/09 20:38] – [OS と Multi GPU] ogaai:ollama [2025/05/25 15:43] (現在) – [Multi GPU : モデルサイズごとの比較] oga
行 8: 行 8:
 ===== Multi GPU : モデルサイズごとの比較 ===== ===== Multi GPU : モデルサイズごとの比較 =====
  
-  * モデルはすべて Q4+  * モデルはすべて Q4 (Q4_K_M 他デフォルト) 
 +  * 使用したバージョンは明記ない限り ollama 0.5.x 
 +  * Contxt Window サイズはデフォルト
  
 ---- ----
行 25: 行 27:
     * host = 3950X : Ryzen 9 3950X (Zen2), 16C 32T, DDR4-3200 51.2GB/s     * host = 3950X : Ryzen 9 3950X (Zen2), 16C 32T, DDR4-3200 51.2GB/s
     * host = 9700X : Ryzen 7 9700X (Zen5), 8C 16T, DDR5-5600 89.6GB/s     * host = 9700X : Ryzen 7 9700X (Zen5), 8C 16T, DDR5-5600 89.6GB/s
-  * mpr = メモリ速度から求めた tps の限界値 (予測上限値)+  * mpr = [[https://wlog.flatlib.jp/2025/03/06/local-llm-and-vram-memory-performance/|メモリ速度から求めた tps の限界値 (予測上限値)]] 
 + 
 + 
 + 
 + 
 + 
 + 
 + 
  
  
行 63: 行 73:
 |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   47GB |    32% |    68% |  **  2.22 tps** |    3950X |     Linux |    2.47 | |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   47GB |    32% |    68% |  **  2.22 tps** |    3950X |     Linux |    2.47 |
 |  40GB | GPUx3  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super                        | 16+16+8=40GB      |   49GB |    17% |    83% |  **  3.08 tps** |    3950X |     Linux |    3.40 | |  40GB | GPUx3  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super                        | 16+16+8=40GB      |   49GB |    17% |    83% |  **  3.08 tps** |    3950X |     Linux |    3.40 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |   46GB |   100% |     0% |  **  4.18 tps** |  M4 Pro CPU |     macOS |    5.93 |
 |  48GB | GPUx4  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super + GTX 1080             | 16+16+8+8=48GB    |   51GB |     6% |    94% |  **  4.25 tps** |    3950X |     Linux |    4.68 | |  48GB | GPUx4  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super + GTX 1080             | 16+16+8+8=48GB    |   51GB |     6% |    94% |  **  4.25 tps** |    3950X |     Linux |    4.68 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |   46GB |     0% |   100% |  **  4.64 tps** |  M4 Pro CPU |     macOS |    5.93 |
 |  56GB | GPUx5  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super + GTX 1080 + GTX 1070  | 16+16+8+8+8=56GB  |   55GB |     0% |   100% |  **  5.10 tps** |    3950X |     Linux |    5.50 | |  56GB | GPUx5  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super + GTX 1080 + GTX 1070  | 16+16+8+8+8=56GB  |   55GB |     0% |   100% |  **  5.10 tps** |    3950X |     Linux |    5.50 |
  
行 69: 行 81:
  
 ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^ ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |   22GB |   100% |     0% |  **  1.92 tps** |    5560U |  Win11 WSL2 |    2.33 |
 |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |   22GB |   100% |     0% |  **  2.14 tps** |    5700X |     Win11 |    2.33 | |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |   22GB |   100% |     0% |  **  2.14 tps** |    5700X |     Win11 |    2.33 |
 |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |   22GB |   100% |     0% |  **  2.16 tps** |    3950X |     Linux |    2.33 | |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |   22GB |   100% |     0% |  **  2.16 tps** |    3950X |     Linux |    2.33 |
行 95: 行 108:
 |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   21GB |    28% |    72% |  **  6.41 tps** |    9700X |  Win11 WSL2 |    8.47 | |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   21GB |    28% |    72% |  **  6.41 tps** |    9700X |  Win11 WSL2 |    8.47 |
 |  19GB | GPUx2  | GeForce RTX 2080Ti + RTX 2070 Super                                     | 11+8=19GB         |   23GB |    20% |    80% |  **  7.68 tps** |    9700X |     Linux |   11.64 | |  19GB | GPUx2  | GeForce RTX 2080Ti + RTX 2070 Super                                     | 11+8=19GB         |   23GB |    20% |    80% |  **  7.68 tps** |    9700X |     Linux |   11.64 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |   22GB |   100% |     0% |  **  7.93 tps** |  M4 Pro CPU |     macOS |   12.41 |
 |  24GB | GPUx3  | RADEON RX 7600 + RX Vega 64 + RX Vega 56                                | 8+8+8=24GB        |   25GB |     3% |    97% |  **  9.12 tps** |    3950X |     Linux |   12.63 | |  24GB | GPUx3  | RADEON RX 7600 + RX Vega 64 + RX Vega 56                                | 8+8+8=24GB        |   25GB |     3% |    97% |  **  9.12 tps** |    3950X |     Linux |   12.63 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |   23GB |     0% |   100% |  **  9.63 tps** |  M4 Pro CPU |     macOS |   11.87 |
 |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   25GB |     0% |   100% |  ** 12.74 tps** |    3950X |     Linux |   11.52 | |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   25GB |     0% |   100% |  ** 12.74 tps** |    3950X |     Linux |   11.52 |
 |  40GB | GPUx3  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super                        | 16+16+8=40GB      |   26GB |     0% |   100% |  ** 13.41 tps** |    3950X |     Linux |   11.93 | |  40GB | GPUx3  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super                        | 16+16+8=40GB      |   26GB |     0% |   100% |  ** 13.41 tps** |    3950X |     Linux |   11.93 |
行 103: 行 118:
  
 ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^ ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |   19GB |   100% |     0% |  **  2.19 tps** |    5560U |  Win11 WSL2 |    2.69 |
 |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |   18GB |   100% |     0% |  **  2.54 tps** |    3950X |     Linux |    2.84 | |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |   18GB |   100% |     0% |  **  2.54 tps** |    3950X |     Linux |    2.84 |
 |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |   18GB |   100% |     0% |  **  2.56 tps** |    5700X |     Win11 |    2.84 | |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |   18GB |   100% |     0% |  **  2.56 tps** |    5700X |     Win11 |    2.84 |
行 126: 行 142:
 |  16GB | GPUx2  | RADEON RX Vega 64 + RX Vega 56                                          | 8+8=16GB          |   21GB |    21% |    79% |  **  7.45 tps** |    9700X |     Linux |   11.55 | |  16GB | GPUx2  | RADEON RX Vega 64 + RX Vega 56                                          | 8+8=16GB          |   21GB |    21% |    79% |  **  7.45 tps** |    9700X |     Linux |   11.55 |
 |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   18GB |    16% |    84% |  **  8.87 tps** |    9700X |     Win11 |   11.81 | |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   18GB |    16% |    84% |  **  8.87 tps** |    9700X |     Win11 |   11.81 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |   18GB |   100% |     0% |  **  9.26 tps** |  M4 Pro CPU |     macOS |   15.17 |
 |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   18GB |    16% |    84% |  **  9.71 tps** |    9700X |  Win11 WSL2 |   11.81 | |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   18GB |    16% |    84% |  **  9.71 tps** |    9700X |  Win11 WSL2 |   11.81 |
 |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   18GB |    12% |    88% |  ** 10.14 tps** |    9700X |     Linux |   12.64 | |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   18GB |    12% |    88% |  ** 10.14 tps** |    9700X |     Linux |   12.64 |
 |  19GB | GPUx2  | GeForce RTX 2080Ti + RTX 2070 Super                                     | 11+8=19GB         |   21GB |    11% |    89% |  ** 11.83 tps** |    9700X |     Linux |   16.42 | |  19GB | GPUx2  | GeForce RTX 2080Ti + RTX 2070 Super                                     | 11+8=19GB         |   21GB |    11% |    89% |  ** 11.83 tps** |    9700X |     Linux |   16.42 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |   20GB |     0% |   100% |  ** 13.91 tps** |  M4 Pro CPU |     macOS |   13.65 |
 |  24GB | GPUx3  | RADEON RX 7600 + RX Vega 64 + RX Vega 56                                | 8+8+8=24GB        |   23GB |     0% |   100% |  ** 14.55 tps** |    3950X |     Linux |   16.34 | |  24GB | GPUx3  | RADEON RX 7600 + RX Vega 64 + RX Vega 56                                | 8+8+8=24GB        |   23GB |     0% |   100% |  ** 14.55 tps** |    3950X |     Linux |   16.34 |
 |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   23GB |     0% |   100% |  ** 15.51 tps** |    3950X |     Linux |   12.52 | |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   23GB |     0% |   100% |  ** 15.51 tps** |    3950X |     Linux |   12.52 |
 |  40GB | GPUx3  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super                        | 16+16+8=40GB      |   25GB |     0% |   100% |  ** 15.89 tps** |    3950X |     Linux |   12.41 | |  40GB | GPUx3  | GeForce RTX 4060Ti + RTX 4060Ti + RTX 2070 Super                        | 16+16+8=40GB      |   25GB |     0% |   100% |  ** 15.89 tps** |    3950X |     Linux |   12.41 |
 |  27GB | GPUx2  | GeForce RTX 4060Ti + RTX 2080Ti                                         | 16+11=27GB        |   23GB |     0% |   100% |  ** 20.15 tps** |    9700X |     Linux |   15.99 | |  27GB | GPUx2  | GeForce RTX 4060Ti + RTX 2080Ti                                         | 16+11=27GB        |   23GB |     0% |   100% |  ** 20.15 tps** |    9700X |     Linux |   15.99 |
 +
 +=== 27b (gemma3:27b) ===
 +
 +^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |   24GB |   100% |     0% |  **  2.18 tps** |    5560U |  Win11 WSL2 |    2.13 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |   22GB |   100% |     0% |  **  9.63 tps** |  M4 Pro CPU |     macOS |   12.41 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |   24GB |     0% |   100% |  ** 10.88 tps** |  M4 Pro CPU |     macOS |   11.38 |
  
 === 24b (mistral-small:24b) === === 24b (mistral-small:24b) ===
行 140: 行 165:
 |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |   16GB |    57% |    43% |  **  3.62 tps** |    13700 |  Win11 WSL2 |    5.17 | |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |   16GB |    57% |    43% |  **  3.62 tps** |    13700 |  Win11 WSL2 |    5.17 |
 |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |   16GB |    61% |    39% |  **  3.99 tps** |    5700X |     Win11 |    4.71 | |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |   16GB |    61% |    39% |  **  3.99 tps** |    5700X |     Win11 |    4.71 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |   16GB |   100% |     0% |  ** 10.94 tps** |  M4 Pro CPU |     macOS |   17.06 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |   16GB |     0% |   100% |  ** 13.55 tps** |  M4 Pro CPU |     macOS |   17.06 |
 |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   15GB |     3% |    97% |  ** 15.38 tps** |    9700X |     Win11 |   18.00 | |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   15GB |     3% |    97% |  ** 15.38 tps** |    9700X |     Win11 |   18.00 |
 |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   15GB |     3% |    97% |  ** 15.45 tps** |    9700X |  Win11 WSL2 |   18.00 | |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |   15GB |     3% |    97% |  ** 15.45 tps** |    9700X |  Win11 WSL2 |   18.00 |
行 148: 行 175:
 ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^ ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |   11GB |   100% |     0% |  **  1.72 tps** |  1030NG7 |     macOS |    5.30 | |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |   11GB |   100% |     0% |  **  1.72 tps** |  1030NG7 |     macOS |    5.30 |
 +|   0GB | CPU    | Intel N100 DDR4                                                         | 0GB               |   11GB |   100% |     0% |  **  1.89 tps** |     N100 |  Win11 WSL2 |    2.33 |
 |  16GB | GPUx1  | RADEON 610M (iGPU)                                                      | 16GB              |   12GB |     0% |   100% |  **  1.96 tps** |    9700X |     Linux |    7.47 | |  16GB | GPUx1  | RADEON 610M (iGPU)                                                      | 16GB              |   12GB |     0% |   100% |  **  1.96 tps** |    9700X |     Linux |    7.47 |
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |   11GB |   100% |     0% |  **  4.24 tps** |    5560U |  Win11 WSL2 |    4.65 |
 |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |   10GB |   100% |     0% |  **  4.63 tps** |    3950X |     Linux |    5.12 | |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |   10GB |   100% |     0% |  **  4.63 tps** |    3950X |     Linux |    5.12 |
 |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |   10GB |   100% |     0% |  **  4.63 tps** |    5700X |     Win11 |    5.12 | |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |   10GB |   100% |     0% |  **  4.63 tps** |    5700X |     Win11 |    5.12 |
行 171: 行 200:
 |  16GB | GPUx2  | GeForce GTX 1080 + GTX 1070                                             | 8+8=16GB          |   11GB |     0% |   100% |  ** 16.19 tps** |    9700X |     Linux |   25.86 | |  16GB | GPUx2  | GeForce GTX 1080 + GTX 1070                                             | 8+8=16GB          |   11GB |     0% |   100% |  ** 16.19 tps** |    9700X |     Linux |   25.86 |
 |  16GB | GPUx2  | RADEON RX 7600 + RX Vega 56                                             | 8+8=16GB          |   14GB |     0% |   100% |  ** 18.00 tps** |    3950X |     Linux |   24.16 | |  16GB | GPUx2  | RADEON RX 7600 + RX Vega 56                                             | 8+8=16GB          |   14GB |     0% |   100% |  ** 18.00 tps** |    3950X |     Linux |   24.16 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |   10GB |   100% |     0% |  ** 18.43 tps** |  M4 Pro CPU |     macOS |   27.30 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |   12GB |     0% |   100% |  ** 19.49 tps** |  M4 Pro CPU |     macOS |   22.75 |
 |  16GB | GPUx2  | RADEON RX Vega 64 + RX Vega 56                                          | 8+8=16GB          |   14GB |     0% |   100% |  ** 22.71 tps** |    9700X |     Linux |   31.69 | |  16GB | GPUx2  | RADEON RX Vega 64 + RX Vega 56                                          | 8+8=16GB          |   14GB |     0% |   100% |  ** 22.71 tps** |    9700X |     Linux |   31.69 |
 |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   12GB |     0% |   100% |  ** 27.04 tps** |    3950X |     Linux |   24.00 | |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |   12GB |     0% |   100% |  ** 27.04 tps** |    3950X |     Linux |   24.00 |
行 180: 行 211:
 |  11GB | GPUx1  | GeForce RTX 2080Ti                                                      | 11GB              |   10GB |     0% |   100% |  ** 51.33 tps** |    9700X |     Linux |   61.60 | |  11GB | GPUx1  | GeForce RTX 2080Ti                                                      | 11GB              |   10GB |     0% |   100% |  ** 51.33 tps** |    9700X |     Linux |   61.60 |
 |  19GB | GPUx2  | GeForce RTX 2080Ti + RTX 2070 Super                                     | 11+8=19GB         |   10GB |     0% |   100% |  ** 51.42 tps** |    9700X |     Linux |   53.20 | |  19GB | GPUx2  | GeForce RTX 2080Ti + RTX 2070 Super                                     | 11+8=19GB         |   10GB |     0% |   100% |  ** 51.42 tps** |    9700X |     Linux |   53.20 |
 +
 +=== 12b (gemma3:12b) ===
 +
 +^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |   13GB |   100% |     0% |  **  4.70 tps** |    5560U |  Win11 WSL2 |    3.94 |
 +|   0GB | CPU    | Ryzen 7 7840HS (Zen4)                                                   | 0GB               |   13GB |   100% |     0% |  **  6.23 tps** |   7840HS |  Win11 WSL2 |    6.89 |
 +|   0GB | CPU    | Apple M1 CPU                                                            | 0GB               |   12GB |   100% |     0% |  **  6.56 tps** |   M1 CPU |     macOS |    5.69 |
 +|  16GB | GPUx1  | Apple M1 GPU                                                            | 16GB              |   11GB |     0% |   100% |  **  7.10 tps** |   M1 CPU |     macOS |    6.21 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |   12GB |   100% |     0% |  ** 20.51 tps** |  M4 Pro CPU |     macOS |   22.75 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |   13GB |     0% |   100% |  ** 22.62 tps** |  M4 Pro CPU |     macOS |   21.00 |
  
 === 9b (gemma2:9b) === === 9b (gemma2:9b) ===
行 185: 行 226:
 ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^ ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |  9.0GB |   100% |     0% |  **  2.03 tps** |  1030NG7 |     macOS |    6.48 | |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |  9.0GB |   100% |     0% |  **  2.03 tps** |  1030NG7 |     macOS |    6.48 |
 +|   0GB | CPU    | Intel N97 DDR5                                                          | 0GB               |  9.0GB |   100% |     0% |  **  2.37 tps** |      N97 |  Win11 WSL2 |    4.27 |
 +|   0GB | CPU    | Intel N100 DDR4                                                         | 0GB               |  9.0GB |   100% |     0% |  **  2.54 tps** |     N100 |  Win11 WSL2 |    2.84 |
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |  9.0GB |   100% |     0% |  **  5.81 tps** |    5560U |  Win11 WSL2 |    5.69 |
 |  16GB | GPUx1  | RADEON 610M (iGPU)                                                      | 16GB              |  7.3GB |     0% |   100% |  **  5.88 tps** |    9700X |     Linux |   12.27 | |  16GB | GPUx1  | RADEON 610M (iGPU)                                                      | 16GB              |  7.3GB |     0% |   100% |  **  5.88 tps** |    9700X |     Linux |   12.27 |
 |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |  7.7GB |   100% |     0% |  **  6.94 tps** |    3950X |     Linux |    6.65 | |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |  7.7GB |   100% |     0% |  **  6.94 tps** |    3950X |     Linux |    6.65 |
行 201: 行 245:
 |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  8.0GB |    13% |    87% |  ** 18.82 tps** |    5700X |     Win11 |   22.48 | |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  8.0GB |    13% |    87% |  ** 18.82 tps** |    5700X |     Win11 |   22.48 |
 |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  8.0GB |     9% |    91% |  ** 25.00 tps** |    13700 |  Win11 WSL2 |   32.99 | |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  8.0GB |     9% |    91% |  ** 25.00 tps** |    13700 |  Win11 WSL2 |   32.99 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |  7.7GB |   100% |     0% |  ** 25.24 tps** |  M4 Pro CPU |     macOS |   35.45 |
 |   8GB | GPUx1  | GeForce GTX 1070                                                        | 8GB               |  7.3GB |     0% |   100% |  ** 25.40 tps** |    9700X |     Linux |   35.07 | |   8GB | GPUx1  | GeForce GTX 1070                                                        | 8GB               |  7.3GB |     0% |   100% |  ** 25.40 tps** |    9700X |     Linux |   35.07 |
 |  16GB | GPUx2  | GeForce GTX 1080 + GTX 1070                                             | 8+8=16GB          |  7.3GB |     0% |   100% |  ** 26.77 tps** |    9700X |     Linux |   38.96 | |  16GB | GPUx2  | GeForce GTX 1080 + GTX 1070                                             | 8+8=16GB          |  7.3GB |     0% |   100% |  ** 26.77 tps** |    9700X |     Linux |   38.96 |
行 206: 行 251:
 |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  8.0GB |     9% |    91% |  ** 30.26 tps** |    9700X |     Linux |   41.18 | |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  8.0GB |     9% |    91% |  ** 30.26 tps** |    9700X |     Linux |   41.18 |
 |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  7.3GB |     0% |   100% |  ** 30.77 tps** |    3950X |     Linux |   39.45 | |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  7.3GB |     0% |   100% |  ** 30.77 tps** |    3950X |     Linux |   39.45 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |  9.5GB |     0% |   100% |  ** 33.75 tps** |  M4 Pro CPU |     macOS |   28.74 |
 |   8GB | GPUx1  | RADEON RX Vega 64                                                       | 8GB               |  7.3GB |     0% |   100% |  ** 37.07 tps** |    9700X |     Linux |   66.27 | |   8GB | GPUx1  | RADEON RX Vega 64                                                       | 8GB               |  7.3GB |     0% |   100% |  ** 37.07 tps** |    9700X |     Linux |   66.27 |
 |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |  9.4GB |     0% |   100% |  ** 37.26 tps** |    3950X |     Linux |   30.64 | |  32GB | GPUx2  | GeForce RTX 4060Ti + RTX 4060Ti                                         | 16+16=32GB        |  9.4GB |     0% |   100% |  ** 37.26 tps** |    3950X |     Linux |   30.64 |
行 220: 行 266:
 ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^ ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |  5.5GB |   100% |     0% |  **  3.03 tps** |  1030NG7 |     macOS |   10.60 | |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |  5.5GB |   100% |     0% |  **  3.03 tps** |  1030NG7 |     macOS |   10.60 |
 +|   0GB | CPU    | Intel N100 DDR4                                                         | 0GB               |  5.5GB |   100% |     0% |  **  3.74 tps** |     N100 |  Win11 WSL2 |    4.65 |
 +|   0GB | CPU    | Intel N97 DDR5                                                          | 0GB               |  5.5GB |   100% |     0% |  **  3.91 tps** |      N97 |  Win11 WSL2 |    6.98 |
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |  5.5GB |   100% |     0% |  **  8.39 tps** |    5560U |  Win11 WSL2 |    9.31 |
 |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |  4.8GB |   100% |     0% |  **  9.26 tps** |    5700X |     Win11 |   10.67 | |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |  4.8GB |   100% |     0% |  **  9.26 tps** |    5700X |     Win11 |   10.67 |
 |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |  4.8GB |   100% |     0% |  **  9.27 tps** |    3950X |     Linux |   10.67 | |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |  4.8GB |   100% |     0% |  **  9.27 tps** |    3950X |     Linux |   10.67 |
行 234: 行 283:
 |   8GB | GPUx2  | RADEON RX 6400 + RX 6400                                                | 4+4=8GB           |  7.7GB |     0% |   100% |  ** 18.52 tps** |    3950X |     Linux |   16.62 | |   8GB | GPUx2  | RADEON RX 6400 + RX 6400                                                | 4+4=8GB           |  7.7GB |     0% |   100% |  ** 18.52 tps** |    3950X |     Linux |   16.62 |
 |   8GB | GPUx1  | GeForce GTX 1070                                                        | 8GB               |  6.0GB |     0% |   100% |  ** 28.45 tps** |    9700X |     Linux |   42.67 | |   8GB | GPUx1  | GeForce GTX 1070                                                        | 8GB               |  6.0GB |     0% |   100% |  ** 28.45 tps** |    9700X |     Linux |   42.67 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |  4.8GB |   100% |     0% |  ** 38.03 tps** |  M4 Pro CPU |     macOS |   56.88 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |  6.0GB |     0% |   100% |  ** 38.41 tps** |  M4 Pro CPU |     macOS |   45.50 |
 |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  6.0GB |     0% |   100% |  ** 43.50 tps** |    5700X |     Win11 |   48.00 | |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  6.0GB |     0% |   100% |  ** 43.50 tps** |    5700X |     Win11 |   48.00 |
 |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |  6.0GB |     0% |   100% |  ** 53.77 tps** |    9700X |     Win11 |   48.00 | |  16GB | GPUx1  | GeForce RTX 4060Ti                                                      | 16GB              |  6.0GB |     0% |   100% |  ** 53.77 tps** |    9700X |     Win11 |   48.00 |
行 241: 行 292:
 |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  6.0GB |     0% |   100% |  ** 64.03 tps** |    13700 |  Win11 WSL2 |   74.67 | |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  6.0GB |     0% |   100% |  ** 64.03 tps** |    13700 |  Win11 WSL2 |   74.67 |
 |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  6.0GB |     0% |   100% |  ** 71.02 tps** |    9700X |     Linux |   74.67 | |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  6.0GB |     0% |   100% |  ** 71.02 tps** |    9700X |     Linux |   74.67 |
 +
 +=== 4b (gemma3:4b) ===
 +
 +^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 +|   0GB | CPU    | Intel N97 DDR5                                                          | 0GB               |  6.2GB |   100% |     0% |  **  6.14 tps** |      N97 |  Win11 WSL2 |    6.19 |
 +|   0GB | CPU    | Intel N100 DDR4                                                         | 0GB               |  6.2GB |   100% |     0% |  **  6.29 tps** |     N100 |  Win11 WSL2 |    4.13 |
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |  6.2GB |   100% |     0% |  ** 12.83 tps** |    5560U |  Win11 WSL2 |    8.26 |
 +|   0GB | CPU    | Ryzen 7 7840HS (Zen4)                                                   | 0GB               |  6.2GB |   100% |     0% |  ** 16.73 tps** |   7840HS |  Win11 WSL2 |   14.45 |
 +|  16GB | GPUx1  | Apple M1 GPU                                                            | 16GB              |  6.7GB |     0% |   100% |  ** 18.22 tps** |   M1 CPU |     macOS |   10.19 |
 +|   0GB | CPU    | Apple M1 CPU                                                            | 0GB               |  5.2GB |   100% |     0% |  ** 18.77 tps** |   M1 CPU |     macOS |   13.13 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |  5.2GB |   100% |     0% |  ** 52.97 tps** |  M4 Pro CPU |     macOS |   52.50 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |  6.7GB |     0% |   100% |  ** 56.27 tps** |  M4 Pro CPU |     macOS |   40.75 |
  
 === 2b (gemma2:2b) === === 2b (gemma2:2b) ===
行 246: 行 309:
 ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^ ^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^
 |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |  3.1GB |   100% |     0% |  **  6.38 tps** |  1030NG7 |     macOS |   18.81 | |   0GB | CPU    | Core i5-1030NG7                                                         | 0GB               |  3.1GB |   100% |     0% |  **  6.38 tps** |  1030NG7 |     macOS |   18.81 |
 +|   0GB | CPU    | Intel N100 DDR4                                                         | 0GB               |  3.1GB |   100% |     0% |  **  7.36 tps** |     N100 |  Win11 WSL2 |    8.26 |
 +|   0GB | CPU    | Intel N97 DDR5                                                          | 0GB               |  3.1GB |   100% |     0% |  **  8.12 tps** |      N97 |  Win11 WSL2 |   12.39 |
 |  16GB | GPUx1  | RADEON 610M (iGPU)                                                      | 16GB              |  3.6GB |     0% |   100% |  ** 16.10 tps** |    9700X |     Linux |   24.89 | |  16GB | GPUx1  | RADEON 610M (iGPU)                                                      | 16GB              |  3.6GB |     0% |   100% |  ** 16.10 tps** |    9700X |     Linux |   24.89 |
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |  3.1GB |   100% |     0% |  ** 17.05 tps** |    5560U |  Win11 WSL2 |   16.52 |
 |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |  2.1GB |   100% |     0% |  ** 19.73 tps** |    3950X |     Linux |   24.38 | |   0GB | CPU    | Ryzen 9 3950X (Zen2)                                                    | 0GB               |  2.1GB |   100% |     0% |  ** 19.73 tps** |    3950X |     Linux |   24.38 |
 |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |  2.1GB |   100% |     0% |  ** 21.64 tps** |    5700X |     Win11 |   24.38 | |   0GB | CPU    | Ryzen 7 5700X (Zen3)                                                    | 0GB               |  2.1GB |   100% |     0% |  ** 21.64 tps** |    5700X |     Win11 |   24.38 |
行 265: 行 331:
 |   8GB | GPUx1  | GeForce GTX 1080                                                        | 8GB               |  3.6GB |     0% |   100% |  ** 65.25 tps** |    9700X |     Linux |   88.89 | |   8GB | GPUx1  | GeForce GTX 1080                                                        | 8GB               |  3.6GB |     0% |   100% |  ** 65.25 tps** |    9700X |     Linux |   88.89 |
 |   8GB | GPUx1  | RADEON RX Vega 64                                                       | 8GB               |  3.6GB |     0% |   100% |  ** 75.42 tps** |    9700X |     Linux |  134.39 | |   8GB | GPUx1  | RADEON RX Vega 64                                                       | 8GB               |  3.6GB |     0% |   100% |  ** 75.42 tps** |    9700X |     Linux |  134.39 |
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |  2.1GB |   100% |     0% |  ** 75.81 tps** |  M4 Pro CPU |     macOS |  130.00 |
 |  16GB | GPUx2  | RADEON RX Vega 64 + RX Vega 56                                          | 8+8=16GB          |  3.6GB |     0% |   100% |  ** 84.10 tps** |    9700X |     Linux |  123.23 | |  16GB | GPUx2  | RADEON RX Vega 64 + RX Vega 56                                          | 8+8=16GB          |  3.6GB |     0% |   100% |  ** 84.10 tps** |    9700X |     Linux |  123.23 |
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |  3.6GB |     0% |   100% |  ** 87.06 tps** |  M4 Pro CPU |     macOS |   75.83 |
 |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  3.6GB |     0% |   100% |  ** 89.82 tps** |    5700X |     Win11 |   80.00 | |   8GB | GPUx1  | RADEON RX 7600                                                          | 8GB               |  3.6GB |     0% |   100% |  ** 89.82 tps** |    5700X |     Win11 |   80.00 |
 |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  3.6GB |     0% |   100% |  ** 97.18 tps** |    13700 |  Win11 WSL2 |  124.44 | |   8GB | GPUx1  | GeForce RTX 2070 Super                                                  | 8GB               |  3.6GB |     0% |   100% |  ** 97.18 tps** |    13700 |  Win11 WSL2 |  124.44 |
行 277: 行 345:
 |  11GB | GPUx1  | GeForce RTX 2080Ti                                                      | 11GB              |  3.6GB |     0% |   100% |  **159.58 tps** |    9700X |     Linux |  171.11 | |  11GB | GPUx1  | GeForce RTX 2080Ti                                                      | 11GB              |  3.6GB |     0% |   100% |  **159.58 tps** |    9700X |     Linux |  171.11 |
  
 +=== 1b (gemma3:1b) ===
  
- +^ VRAM ^       ^ Processor                                                          ^ VRAM                  ^ MEM    ^ CPU    ^ GPU   ^     token/s ^ host   ^ os  ^  mpr ^ 
 +|   0GB | CPU    | Intel N100 DDR4                                                         | 0GB               |  1.6GB |   100% |     0% |  ** 15.78 tps** |     N100 |  Win11 WSL2 |   16.00 | 
 +|   0GB | CPU    | Intel N97 DDR5                                                          | 0GB               |  1.6GB |   100% |     0% |  ** 16.23 tps** |      N97 |  Win11 WSL2 |   24.00 | 
 +|   0GB | CPU    | Ryzen 5 5560U (Zen3)                                                    | 0GB               |  1.6GB |   100% |     0% |  ** 34.94 tps** |    5560U |  Win11 WSL2 |   32.00 | 
 +|  16GB | GPUx1  | Apple M1 GPU                                                            | 16GB              |  2.1GB |     0% |   100% |  ** 40.86 tps** |   M1 CPU |     macOS |   32.52 | 
 +|   0GB | CPU    | Ryzen 7 7840HS (Zen4)                                                   | 0GB               |  1.6GB |   100% |     0% |  ** 48.95 tps** |   7840HS |  Win11 WSL2 |   56.00 | 
 +|   0GB | CPU    | Apple M1 CPU                                                            | 0GB               |  0.752GB |   100% |     0% |  ** 54.39 tps** |   M1 CPU |     macOS |   90.82 | 
 +|  64GB | GPUx1  | Apple M4 Pro GPU                                                        | 64GB              |  2.1GB |     0% |   100% |  **129.38 tps** |  M4 Pro CPU |     macOS |  130.00 | 
 +|   0GB | CPU    | Apple M4 Pro CPU                                                        | 0GB               |  0.752GB |   100% |     0% |  **135.03 tps** |  M4 Pro CPU |     macOS |  363.03 |
  
  
行 334: 行 410:
  
 OS を直接インストール OS を直接インストール
- 
- 
  
  
行 391: 行 465:
 | gemma2:27b     |    19GB |   100% |     0% |  **    3.25 tps** |   7840HS |    4.72 | | gemma2:27b     |    19GB |   100% |     0% |  **    3.25 tps** |   7840HS |    4.72 |
 | phi4:14b       |    11GB |   100% |     0% |  **    5.97 tps** |   7840HS |    8.15 | | phi4:14b       |    11GB |   100% |     0% |  **    5.97 tps** |   7840HS |    8.15 |
 +| gemma3:12b     |    13GB |   100% |     0% |  **    6.23 tps** |   7840HS |    6.89 |
 | gemma2:9b      |   9.0GB |   100% |     0% |  **    8.59 tps** |   7840HS |    9.96 | | gemma2:9b      |   9.0GB |   100% |     0% |  **    8.59 tps** |   7840HS |    9.96 |
 | qwen2.5:7b     |   5.5GB |   100% |     0% |  **   11.68 tps** |   7840HS |   16.29 | | qwen2.5:7b     |   5.5GB |   100% |     0% |  **   11.68 tps** |   7840HS |   16.29 |
 +| gemma3:4b      |   6.2GB |   100% |     0% |  **   16.73 tps** |   7840HS |   14.45 |
 | gemma2:2b      |   3.1GB |   100% |     0% |  **   24.45 tps** |   7840HS |   28.90 | | gemma2:2b      |   3.1GB |   100% |     0% |  **   24.45 tps** |   7840HS |   28.90 |
 +| gemma3:1b      |   1.6GB |   100% |     0% |  **   48.95 tps** |   7840HS |   56.00 |
 ^ CPU (0GB): Ryzen 7 7840HS (Zen4) : Linux   ^^^^^^^ ^ CPU (0GB): Ryzen 7 7840HS (Zen4) : Linux   ^^^^^^^
 ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^ ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
行 418: 行 495:
 | qwen2.5:7b     |   5.5GB |   100% |     0% |  **    3.03 tps** |  1030NG7 |   10.60 | | qwen2.5:7b     |   5.5GB |   100% |     0% |  **    3.03 tps** |  1030NG7 |   10.60 |
 | gemma2:2b      |   3.1GB |   100% |     0% |  **    6.38 tps** |  1030NG7 |   18.81 | | gemma2:2b      |   3.1GB |   100% |     0% |  **    6.38 tps** |  1030NG7 |   18.81 |
 +^ CPU (0GB): Ryzen 5 5560U (Zen3) : Win11 WSL2   ^^^^^^^
 +^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 +| qwen2.5:32b    |    22GB |   100% |     0% |  **    1.92 tps** |    5560U |    2.33 |
 +| gemma3:27b     |    24GB |   100% |     0% |  **    2.18 tps** |    5560U |    2.13 |
 +| gemma2:27b     |    19GB |   100% |     0% |  **    2.19 tps** |    5560U |    2.69 |
 +| phi4:14b       |    11GB |   100% |     0% |  **    4.24 tps** |    5560U |    4.65 |
 +| gemma3:12b     |    13GB |   100% |     0% |  **    4.70 tps** |    5560U |    3.94 |
 +| gemma2:9b      |   9.0GB |   100% |     0% |  **    5.81 tps** |    5560U |    5.69 |
 +| qwen2.5:7b     |   5.5GB |   100% |     0% |  **    8.39 tps** |    5560U |    9.31 |
 +| gemma3:4b      |   6.2GB |   100% |     0% |  **   12.83 tps** |    5560U |    8.26 |
 +| gemma2:2b      |   3.1GB |   100% |     0% |  **   17.05 tps** |    5560U |   16.52 |
 +| gemma3:1b      |   1.6GB |   100% |     0% |  **   34.94 tps** |    5560U |   32.00 |
 +^ CPU (0GB): Intel N100 DDR4 : Win11 WSL2   ^^^^^^^
 +^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 +| phi4:14b       |    11GB |   100% |     0% |  **    1.89 tps** |     N100 |    2.33 |
 +| gemma2:9b      |   9.0GB |   100% |     0% |  **    2.54 tps** |     N100 |    2.84 |
 +| qwen2.5:7b     |   5.5GB |   100% |     0% |  **    3.74 tps** |     N100 |    4.65 |
 +| gemma3:4b      |   6.2GB |   100% |     0% |  **    6.29 tps** |     N100 |    4.13 |
 +| gemma2:2b      |   3.1GB |   100% |     0% |  **    7.36 tps** |     N100 |    8.26 |
 +| gemma3:1b      |   1.6GB |   100% |     0% |  **   15.78 tps** |     N100 |   16.00 |
 +^ CPU (0GB): Intel N97 DDR5 : Win11 WSL2   ^^^^^^^
 +^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 +| gemma2:9b      |   9.0GB |   100% |     0% |  **    2.37 tps** |      N97 |    4.27 |
 +| qwen2.5:7b     |   5.5GB |   100% |     0% |  **    3.91 tps** |      N97 |    6.98 |
 +| gemma3:4b      |   6.2GB |   100% |     0% |  **    6.14 tps** |      N97 |    6.19 |
 +| gemma2:2b      |   3.1GB |   100% |     0% |  **    8.12 tps** |      N97 |   12.39 |
 +| gemma3:1b      |   1.6GB |   100% |     0% |  **   16.23 tps** |      N97 |   24.00 |
 ^ CPU (0GB): Apple M1 CPU : macOS   ^^^^^^^ ^ CPU (0GB): Apple M1 CPU : macOS   ^^^^^^^
 ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^ ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 | phi4:14b       |    10GB |   100% |     0% |  **    5.30 tps** |   M1 CPU |    6.83 | | phi4:14b       |    10GB |   100% |     0% |  **    5.30 tps** |   M1 CPU |    6.83 |
 +| gemma3:12b     |    12GB |   100% |     0% |  **    6.56 tps** |   M1 CPU |    5.69 |
 | gemma2:9b      |   7.7GB |   100% |     0% |  **    8.97 tps** |   M1 CPU |    8.87 | | gemma2:9b      |   7.7GB |   100% |     0% |  **    8.97 tps** |   M1 CPU |    8.87 |
 | qwen2.5:7b     |   4.8GB |   100% |     0% |  **   12.02 tps** |   M1 CPU |   14.23 | | qwen2.5:7b     |   4.8GB |   100% |     0% |  **   12.02 tps** |   M1 CPU |   14.23 |
 +| gemma3:4b      |   5.2GB |   100% |     0% |  **   18.77 tps** |   M1 CPU |   13.13 |
 | gemma2:2b      |   2.1GB |   100% |     0% |  **   29.47 tps** |   M1 CPU |   32.52 | | gemma2:2b      |   2.1GB |   100% |     0% |  **   29.47 tps** |   M1 CPU |   32.52 |
 +| gemma3:1b      | 0.752GB |   100% |     0% |  **   54.39 tps** |   M1 CPU |   90.82 |
 ^ GPUx1 (16GB): Apple M1 GPU : macOS   ^^^^^^^ ^ GPUx1 (16GB): Apple M1 GPU : macOS   ^^^^^^^
 ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^ ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 | phi4:14b       |    10GB |     0% |   100% |  **    6.16 tps** |   M1 CPU |    6.83 | | phi4:14b       |    10GB |     0% |   100% |  **    6.16 tps** |   M1 CPU |    6.83 |
 +| gemma3:12b     |    11GB |     0% |   100% |  **    7.10 tps** |   M1 CPU |    6.21 |
 | gemma2:9b      |   9.5GB |     0% |   100% |  **    9.36 tps** |   M1 CPU |    7.19 | | gemma2:9b      |   9.5GB |     0% |   100% |  **    9.36 tps** |   M1 CPU |    7.19 |
 | qwen2.5:7b     |   6.0GB |     0% |   100% |  **   11.92 tps** |   M1 CPU |   11.38 | | qwen2.5:7b     |   6.0GB |     0% |   100% |  **   11.92 tps** |   M1 CPU |   11.38 |
 +| gemma3:4b      |   6.7GB |     0% |   100% |  **   18.22 tps** |   M1 CPU |   10.19 |
 | gemma2:2b      |   3.6GB |     0% |   100% |  **   25.75 tps** |   M1 CPU |   18.97 | | gemma2:2b      |   3.6GB |     0% |   100% |  **   25.75 tps** |   M1 CPU |   18.97 |
 +| gemma3:1b      |   2.1GB |     0% |   100% |  **   40.86 tps** |   M1 CPU |   32.52 |
 +^ CPU (0GB): Apple M4 Pro CPU : macOS   ^^^^^^^
 +^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 +| llama3.3:70b   |    46GB |   100% |     0% |  **    4.18 tps** |  M4 Pro CPU |    5.93 |
 +| qwen2.5:32b    |    22GB |   100% |     0% |  **    7.93 tps** |  M4 Pro CPU |   12.41 |
 +| gemma3:27b     |    22GB |   100% |     0% |  **    9.63 tps** |  M4 Pro CPU |   12.41 |
 +| gemma2:27b     |    18GB |   100% |     0% |  **    9.26 tps** |  M4 Pro CPU |   15.17 |
 +| mistral-small:24b |    16GB |   100% |     0% |  **   10.94 tps** |  M4 Pro CPU |   17.06 |
 +| phi4:14b       |    10GB |   100% |     0% |  **   18.43 tps** |  M4 Pro CPU |   27.30 |
 +| gemma3:12b     |    12GB |   100% |     0% |  **   20.51 tps** |  M4 Pro CPU |   22.75 |
 +| gemma2:9b      |   7.7GB |   100% |     0% |  **   25.24 tps** |  M4 Pro CPU |   35.45 |
 +| qwen2.5:7b     |   4.8GB |   100% |     0% |  **   38.03 tps** |  M4 Pro CPU |   56.88 |
 +| gemma3:4b      |   5.2GB |   100% |     0% |  **   52.97 tps** |  M4 Pro CPU |   52.50 |
 +| gemma2:2b      |   2.1GB |   100% |     0% |  **   75.81 tps** |  M4 Pro CPU |  130.00 |
 +| gemma3:1b      | 0.752GB |   100% |     0% |  **  135.03 tps** |  M4 Pro CPU |  363.03 |
 +^ GPUx1 (64GB): Apple M4 Pro GPU : macOS   ^^^^^^^
 +^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 +| llama3.3:70b   |    46GB |     0% |   100% |  **    4.64 tps** |  M4 Pro CPU |    5.93 |
 +| qwen2.5:32b    |    23GB |     0% |   100% |  **    9.63 tps** |  M4 Pro CPU |   11.87 |
 +| gemma3:27b     |    24GB |     0% |   100% |  **   10.88 tps** |  M4 Pro CPU |   11.38 |
 +| gemma2:27b     |    20GB |     0% |   100% |  **   13.91 tps** |  M4 Pro CPU |   13.65 |
 +| mistral-small:24b |    16GB |     0% |   100% |  **   13.55 tps** |  M4 Pro CPU |   17.06 |
 +| phi4:14b       |    12GB |     0% |   100% |  **   19.49 tps** |  M4 Pro CPU |   22.75 |
 +| gemma3:12b     |    13GB |     0% |   100% |  **   22.62 tps** |  M4 Pro CPU |   21.00 |
 +| gemma2:9b      |   9.5GB |     0% |   100% |  **   33.75 tps** |  M4 Pro CPU |   28.74 |
 +| qwen2.5:7b     |   6.0GB |     0% |   100% |  **   38.41 tps** |  M4 Pro CPU |   45.50 |
 +| gemma3:4b      |   6.7GB |     0% |   100% |  **   56.27 tps** |  M4 Pro CPU |   40.75 |
 +| gemma2:2b      |   3.6GB |     0% |   100% |  **   87.06 tps** |  M4 Pro CPU |   75.83 |
 +| gemma3:1b      |   2.1GB |     0% |   100% |  **  129.38 tps** |  M4 Pro CPU |  130.00 |
 ^ GPUx1 (16GB): RADEON 610M (iGPU) : Linux   ^^^^^^^ ^ GPUx1 (16GB): RADEON 610M (iGPU) : Linux   ^^^^^^^
 ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^ ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
行 722: 行 860:
 === PC === === PC ===
  
-^ CPU     | Ryzen 9 3950X                 | Ryzen 7 9700X (105W mode)     | Core i7-13700       | Ryzen 7 5700X      | Core i7-7840HS                | Apple M1                      | Core i5-1030NG7               | +^ CPU     | Ryzen 9 3950X                 | Ryzen 7 9700X (105W mode)     | Core i7-13700       | Ryzen 7 5700X      | Core i7-7840HS                | Apple M1                      | Core i5-1030NG7               | Apple M4 Pro                  | 
-^ Core    | Zen2 16C 32T                  | Zen5 8C 16T                   | RaptorLake 16C 24T  | Zen3 8C 16T        | Zen4 8C 16T                   | M1 CPU 8C 8T                  | IceLake 4C 8T                 | +^ Core    | Zen2 16C 32T                  | Zen5 8C 16T                   | RaptorLake 16C 24T  | Zen3 8C 16T        | Zen4 8C 16T                   | M1 CPU 8C 8T                  | IceLake 4C 8T                 | M4 CPU 12C 12T                | 
-^ RAM     | DDR4-3200 96GB                | DDR5-5600 96GB                | DDR4-3200 64GB      | DDR4-3200 64GB     | DDR5-5600 64GB                | LPDDR4X-4266 16GB             | LPDDR4X-3733 16GB             | +^ RAM     | DDR4-3200 96GB                | DDR5-5600 96GB                | DDR4-3200 64GB      | DDR4-3200 64GB     | DDR5-5600 64GB                | LPDDR4X-4266 16GB             | LPDDR4X-3733 16GB             | LPDDR5X-8533 64GB             | 
-^ Mother  | TUF GAMING X570-Plus          | TUF GAMING B650M-E            | B760M-ITX/D4        | DeskMeet X300      | GMKTec NucBox K6              | MacBook Air                   | MacBook Air                   | +^ Mother  | TUF GAMING X570-Plus          | TUF GAMING B650M-E            | B760M-ITX/D4        | DeskMeet X300      | GMKTec NucBox K6              | MacBook Air                   | MacBook Air                   | Mac mini M4 Pro               | 
-^ GPU1    | PCIe 4.0 x16                  | PCIe 4.0 x16                  | PCIe 4.0 x16        | PCIe 4.0 x16       | iGPU RADEON 780M              | iGPU                          |                               | +^ GPU1    | PCIe 4.0 x16                  | PCIe 4.0 x16                  | PCIe 4.0 x16        | PCIe 4.0 x16       | iGPU RADEON 780M              | iGPU                          |                               | iGPU                          | 
-^ GPU2    | PCIe 4.0 x4                   | PCIe 4.0 x4 M.2 DEG1 OCulink  |                     |                    |                               |                               |                               | +^ GPU2    | PCIe 4.0 x4                   | PCIe 4.0 x4 M.2 DEG1 OCulink  |                     |                    |                               |                               |                               |                               | 
-^ GPU3    | PCIe 4.0 x4 M.2 DEG1 OCulink  | PCIe 4.0 x4 M.2 DEG1 OCulink  |                     |                    |                               |                               |                               | +^ GPU3    | PCIe 4.0 x4 M.2 DEG1 OCulink  | PCIe 4.0 x4 M.2 DEG1 OCulink  |                     |                    |                               |                               |                               |                               | 
-^ GPU4    | PCIe 4.0 x4 M.2 DEG1 OCulink  |                               |                     |                    |                               |                               |                               | +^ GPU4    | PCIe 4.0 x4 M.2 DEG1 OCulink  |                               |                     |                    |                               |                               |                               |                               | 
-^ GPU5    | PCIe 3.0 x1                   |                               |                     |                    |                               |                               |                               | +^ GPU5    | PCIe 3.0 x1                   |                               |                     |                    |                               |                               |                               |                               | 
-^ GPU6    | PCIe 3.0 x1                   |                               |                     |                    |                               |                               |                               | +^ GPU6    | PCIe 3.0 x1                   |                               |                     |                    |                               |                               |                               |                               | 
-^ OS      | Ubuntu 22.04/24.04            | Ubuntu 22.04/24.04/Win11      | Ubuntu 24.04/Win11  | Win11              | Ubuntu 24.04/Win11            | macOS                         | macOS                         |+^ OS      | Ubuntu 22.04/24.04            | Ubuntu 22.04/24.04/Win11      | Ubuntu 24.04/Win11  | Win11              | Ubuntu 24.04/Win11            | macOS                         | macOS                         | macOS                         | 
  
  
行 752: 行 891:
 | RADEON RX Vega 64         | GCN5          | vega10 gfx900   |    8GB |  1546 MHz |    483.8 GB/s | PCIe 3.0 x16  |    64 |    4096 sp |  12664.83 GFLOPS |             |                  | | RADEON RX Vega 64         | GCN5          | vega10 gfx900   |    8GB |  1546 MHz |    483.8 GB/s | PCIe 3.0 x16  |    64 |    4096 sp |  12664.83 GFLOPS |             |                  |
 | RADEON RX Vega 56         | GCN5          | vega10 gfx900   |    8GB |  1471 MHz |    409.6 GB/s | PCIe 3.0 x16  |    56 |    3584 sp |  10544.13 GFLOPS |             |                  | | RADEON RX Vega 56         | GCN5          | vega10 gfx900   |    8GB |  1471 MHz |    409.6 GB/s | PCIe 3.0 x16  |    56 |    3584 sp |  10544.13 GFLOPS |             |                  |
 +| Apple M1 C8/G8            |               |                 |        |           |     68.3 GB/s |               |       |            |                  |             |                  |
 +| Apple M4 Pro C12/G16      |               |                 |        |           |    273.0 GB/s |               |       |            |                  |             |                  |
 +
  
  
ai/ollama.1741520326.txt.gz · 最終更新: by oga
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki