ユーザ用ツール

サイト用ツール


ai:ollama

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン
前のリビジョン
ai:ollama [2025/03/28 21:19] – [● OS を直接インストールした場合] ogaai:ollama [2025/05/25 15:43] (現在) – [Multi GPU : モデルサイズごとの比較] oga
行 8: 行 8:
 ===== Multi GPU : モデルサイズごとの比較 ===== ===== Multi GPU : モデルサイズごとの比較 =====
  
-  * モデルはすべて Q4+  * モデルはすべて Q4 (Q4_K_M 他デフォルト) 
 +  * 使用したバージョンは明記ない限り ollama 0.5.x 
 +  * Contxt Window サイズはデフォルト
  
 ---- ----
行 408: 行 410:
  
 OS を直接インストール OS を直接インストール
- 
  
  
行 539: 行 540:
 | gemma2:2b      |   3.6GB |     0% |   100% |  **   25.75 tps** |   M1 CPU |   18.97 | | gemma2:2b      |   3.6GB |     0% |   100% |  **   25.75 tps** |   M1 CPU |   18.97 |
 | gemma3:1b      |   2.1GB |     0% |   100% |  **   40.86 tps** |   M1 CPU |   32.52 | | gemma3:1b      |   2.1GB |     0% |   100% |  **   40.86 tps** |   M1 CPU |   32.52 |
 +^ CPU (0GB): Apple M4 Pro CPU : macOS   ^^^^^^^
 +^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 +| llama3.3:70b      46GB |   100% |     0% |  **    4.18 tps** |  M4 Pro CPU |    5.93 |
 +| qwen2.5:32b    |    22GB |   100% |     0% |  **    7.93 tps** |  M4 Pro CPU |   12.41 |
 +| gemma3:27b        22GB |   100% |     0% |  **    9.63 tps** |  M4 Pro CPU |   12.41 |
 +| gemma2:27b        18GB |   100% |     0% |  **    9.26 tps** |  M4 Pro CPU |   15.17 |
 +| mistral-small:24b |    16GB |   100% |     0% |  **   10.94 tps** |  M4 Pro CPU |   17.06 |
 +| phi4:14b          10GB |   100% |     0% |  **   18.43 tps** |  M4 Pro CPU |   27.30 |
 +| gemma3:12b        12GB |   100% |     0% |  **   20.51 tps** |  M4 Pro CPU |   22.75 |
 +| gemma2:9b      |   7.7GB |   100% |     0% |  **   25.24 tps** |  M4 Pro CPU |   35.45 |
 +| qwen2.5:7b       4.8GB |   100% |     0% |  **   38.03 tps** |  M4 Pro CPU |   56.88 |
 +| gemma3:4b      |   5.2GB |   100% |     0% |  **   52.97 tps** |  M4 Pro CPU |   52.50 |
 +| gemma2:2b      |   2.1GB |   100% |     0% |  **   75.81 tps** |  M4 Pro CPU |  130.00 |
 +| gemma3:1b      | 0.752GB |   100% |     0% |  **  135.03 tps** |  M4 Pro CPU |  363.03 |
 +^ GPUx1 (64GB): Apple M4 Pro GPU : macOS   ^^^^^^^
 +^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 +| llama3.3:70b      46GB |     0% |   100% |  **    4.64 tps** |  M4 Pro CPU |    5.93 |
 +| qwen2.5:32b    |    23GB |     0% |   100% |  **    9.63 tps** |  M4 Pro CPU |   11.87 |
 +| gemma3:27b        24GB |     0% |   100% |  **   10.88 tps** |  M4 Pro CPU |   11.38 |
 +| gemma2:27b        20GB |     0% |   100% |  **   13.91 tps** |  M4 Pro CPU |   13.65 |
 +| mistral-small:24b |    16GB |     0% |   100% |  **   13.55 tps** |  M4 Pro CPU |   17.06 |
 +| phi4:14b          12GB |     0% |   100% |  **   19.49 tps** |  M4 Pro CPU |   22.75 |
 +| gemma3:12b        13GB |     0% |   100% |  **   22.62 tps** |  M4 Pro CPU |   21.00 |
 +| gemma2:9b      |   9.5GB |     0% |   100% |  **   33.75 tps** |  M4 Pro CPU |   28.74 |
 +| qwen2.5:7b       6.0GB |     0% |   100% |  **   38.41 tps** |  M4 Pro CPU |   45.50 |
 +| gemma3:4b      |   6.7GB |     0% |   100% |  **   56.27 tps** |  M4 Pro CPU |   40.75 |
 +| gemma2:2b      |   3.6GB |     0% |   100% |  **   87.06 tps** |  M4 Pro CPU |   75.83 |
 +| gemma3:1b      |   2.1GB |     0% |   100% |  **  129.38 tps** |  M4 Pro CPU |  130.00 |
 ^ GPUx1 (16GB): RADEON 610M (iGPU) : Linux   ^^^^^^^ ^ GPUx1 (16GB): RADEON 610M (iGPU) : Linux   ^^^^^^^
 ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^ ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
行 738: 行 767:
 ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^ ^ Model          ^  Memory ^  CPU  ^  GPU  ^     token/s ^   host ^  mpr ^
 | llama3.3:70b      55GB |     0% |   100% |  **    5.10 tps** |    3950X |    5.50 | | llama3.3:70b      55GB |     0% |   100% |  **    5.10 tps** |    3950X |    5.50 |
 +
  
  
行 830: 行 860:
 === PC === === PC ===
  
-^ CPU     | Ryzen 9 3950X                 | Ryzen 7 9700X (105W mode)     | Core i7-13700       | Ryzen 7 5700X      | Core i7-7840HS                | Apple M1                      | Core i5-1030NG7               | +^ CPU     | Ryzen 9 3950X                 | Ryzen 7 9700X (105W mode)     | Core i7-13700       | Ryzen 7 5700X      | Core i7-7840HS                | Apple M1                      | Core i5-1030NG7               | Apple M4 Pro                  
-^ Core    | Zen2 16C 32T                  | Zen5 8C 16T                   | RaptorLake 16C 24T  | Zen3 8C 16T        | Zen4 8C 16T                   | M1 CPU 8C 8T                  | IceLake 4C 8T                 | +^ Core    | Zen2 16C 32T                  | Zen5 8C 16T                   | RaptorLake 16C 24T  | Zen3 8C 16T        | Zen4 8C 16T                   | M1 CPU 8C 8T                  | IceLake 4C 8T                 | M4 CPU 12C 12T                
-^ RAM     | DDR4-3200 96GB                | DDR5-5600 96GB                | DDR4-3200 64GB      | DDR4-3200 64GB     | DDR5-5600 64GB                | LPDDR4X-4266 16GB             | LPDDR4X-3733 16GB             | +^ RAM     | DDR4-3200 96GB                | DDR5-5600 96GB                | DDR4-3200 64GB      | DDR4-3200 64GB     | DDR5-5600 64GB                | LPDDR4X-4266 16GB             | LPDDR4X-3733 16GB             | LPDDR5X-8533 64GB             | 
-^ Mother  | TUF GAMING X570-Plus          | TUF GAMING B650M-E            | B760M-ITX/D4        | DeskMeet X300      | GMKTec NucBox K6              | MacBook Air                   | MacBook Air                   | +^ Mother  | TUF GAMING X570-Plus          | TUF GAMING B650M-E            | B760M-ITX/D4        | DeskMeet X300      | GMKTec NucBox K6              | MacBook Air                   | MacBook Air                   | Mac mini M4 Pro               
-^ GPU1    | PCIe 4.0 x16                  | PCIe 4.0 x16                  | PCIe 4.0 x16        | PCIe 4.0 x16       | iGPU RADEON 780M              | iGPU                          |                               | +^ GPU1    | PCIe 4.0 x16                  | PCIe 4.0 x16                  | PCIe 4.0 x16        | PCIe 4.0 x16       | iGPU RADEON 780M              | iGPU                          |                               | iGPU                          
-^ GPU2    | PCIe 4.0 x4                   | PCIe 4.0 x4 M.2 DEG1 OCulink  |                                        |                                                                                           | +^ GPU2    | PCIe 4.0 x4                   | PCIe 4.0 x4 M.2 DEG1 OCulink  |                                        |                               |                                                                                           | 
-^ GPU3    | PCIe 4.0 x4 M.2 DEG1 OCulink  | PCIe 4.0 x4 M.2 DEG1 OCulink  |                                        |                                                                                           | +^ GPU3    | PCIe 4.0 x4 M.2 DEG1 OCulink  | PCIe 4.0 x4 M.2 DEG1 OCulink  |                                        |                               |                                                                                           | 
-^ GPU4    | PCIe 4.0 x4 M.2 DEG1 OCulink  |                                                                      |                                                                                           | +^ GPU4    | PCIe 4.0 x4 M.2 DEG1 OCulink  |                                                                      |                               |                                                                                           | 
-^ GPU5    | PCIe 3.0 x1                                                                                        |                                                                                           | +^ GPU5    | PCIe 3.0 x1                                                                                        |                               |                                                                                           | 
-^ GPU6    | PCIe 3.0 x1                                                                                        |                                                                                           | +^ GPU6    | PCIe 3.0 x1                                                                                        |                               |                                                                                           | 
-^ OS      | Ubuntu 22.04/24.04            | Ubuntu 22.04/24.04/Win11      | Ubuntu 24.04/Win11  | Win11              | Ubuntu 24.04/Win11            | macOS                         | macOS                         |+^ OS      | Ubuntu 22.04/24.04            | Ubuntu 22.04/24.04/Win11      | Ubuntu 24.04/Win11  | Win11              | Ubuntu 24.04/Win11            | macOS                         | macOS                         macOS                         | 
  
  
行 860: 行 891:
 | RADEON RX Vega 64         | GCN5          | vega10 gfx900      8GB |  1546 MHz |    483.8 GB/s | PCIe 3.0 x16  |    64 |    4096 sp |  12664.83 GFLOPS |                              | | RADEON RX Vega 64         | GCN5          | vega10 gfx900      8GB |  1546 MHz |    483.8 GB/s | PCIe 3.0 x16  |    64 |    4096 sp |  12664.83 GFLOPS |                              |
 | RADEON RX Vega 56         | GCN5          | vega10 gfx900      8GB |  1471 MHz |    409.6 GB/s | PCIe 3.0 x16  |    56 |    3584 sp |  10544.13 GFLOPS |                              | | RADEON RX Vega 56         | GCN5          | vega10 gfx900      8GB |  1471 MHz |    409.6 GB/s | PCIe 3.0 x16  |    56 |    3584 sp |  10544.13 GFLOPS |                              |
 +| Apple M1 C8/G8            |                                      |               68.3 GB/s |                                |                  |                              |
 +| Apple M4 Pro C12/G16      |                                      |              273.0 GB/s |                                |                  |                              |
 +
  
  
ai/ollama.1743164399.txt.gz · 最終更新: by oga

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki