一個總數,拆成三個部分
權重由參數數與每權重位元算出,KV 快取由層數、上下文與批次算出,再加上活化保留量。看到的是三個部分與各自比例,而不只是一個數字。
本機 VRAM · GGUF 量化 · API 批次成本
PromptMeter 在你下載 GGUF 檔之前、送出 API 批次之前先回答兩件事:在所選的量化、上下文長度與批次大小下,權重、KV 快取與活化額外負擔各佔多少 VRAM;以及在標示基準日、可自行修改的單價表上,這一批要花多少錢。兩個結果都會附上計算式、資料基準日,以及這項估算看不見的地方。全部都在這個分頁內計算,不上傳、不需帳號、不呼叫伺服器。
從 1.5B 到 671B 選一個預設模型,或直接輸入參數,選擇 FP16 到 Q2_K 的量化、2K~128K 的上下文、FP16/Q8/Q4 的 KV 快取與批次大小,頁面會把總 VRAM 拆成權重、KV 快取與額外負擔,逐一標示 8GB 到 80GB 每種容量是放得下還是差多少,算出多卡組態需要幾張卡,並依記憶體頻寬估算每秒 token。第二個分頁處理 API 端:上下文使用率、每請求與批次總成本、處理時間與 30 天預估,全部依一張在畫面上標示基準日、每個欄位都能改的單價表計算。
需要的 VRAM 總量
0GiB
此設定下的顯示卡適配
—
weights_GiB = P × bpw ÷ 8 × 0.9313
KV_GiB = kv_KiB/token ÷ 1,048,576 × tokens × batch
overhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batch
tok/s ≈ bandwidth × 0.55 ÷ weights_GiB
每 token 的 KV 值以這個模型的層數與 KV 頭在 FP16 下計算,再乘上量化係數與批次大小。
批次總成本
$0.00
—
cost_per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_out
batch_cost = cost_per_request × requests
context_use = (prompt + output) ÷ context_window
latency ≈ 0.6 s + prompt ÷ prefill_tok/s + output ÷ output_tok/s
wall_clock = ⌈ requests ÷ concurrency ⌉ × latency
預填與解碼速度是單價表裡的假設值;實際延遲取決於供應商負載,以及以輸出計費的思考 token。
基準日 2026-11-21 · 供應商預設值
| 模型 | 輸入 $/1M | 輸出 $/1M | 上下文 | 預填 tok/s | 輸出 tok/s |
|---|---|---|---|---|---|
| GPT-6.2 AstraOpenAI | |||||
| GPT-6.2 SolOpenAI | |||||
| GPT-6.1 TerraOpenAI | |||||
| Claude Fable 5.2Anthropic | |||||
| Claude Opus 5.5Anthropic | |||||
| Claude Sonnet 5.5Anthropic | |||||
| Claude Haiku 5.5Anthropic | |||||
| Gemini 4 CarbonGoogle | |||||
| Gemini 4 NeonGoogle | |||||
| Gemini 3.8 FlashGoogle | |||||
| DeepSeek FlashDeepSeek | |||||
| DeepSeek V4 ProDeepSeek |
每個欄位都能改:填入你的合約單價、不同的上下文視窗或實測解碼速度。修改只留在這個瀏覽器。
此快照中的促銷價:Gemini 4 Carbon 在 2026-11-30 前為每百萬 2/10,2026-12-01 起 4/20;Gemini 3.8 Flash 在 2026-12-31 前為 0.75/3.75,2027-01-01 起 1.50/7.50;DeepSeek 為尖峰時段價格,離峰半價;Claude Haiku 5.5 的提示超過 10 萬 token 時為 0.50/2.50。
它能做什麼
決定的左邊是容量,右邊是支出。
權重由參數數與每權重位元算出,KV 快取由層數、上下文與批次算出,再加上活化保留量。看到的是三個部分與各自比例,而不只是一個數字。
FP16、Q8_0、Q6_K、Q5_K_M、Q4_K_M、Q3_K_M、Q2_K 與各自的概略每權重位元,讓你在下載前就知道降一級能省多少。
2K 到 128K 的上下文、FP16/Q8/Q4 的 KV 快取,批次大小會乘到每一個被保存的 token 上。長上下文與批次會把同一份快取成倍放大。
8GB 到 80GB 每種容量都以 GiB 標示還剩多少或差多少,可關閉的安全餘裕,並依所選顯示卡算出多卡組態需要的張數。
以記憶體頻寬近似單流與批次解碼速度,數字可以自行驗算,也會說明可能偏差多少。
依標示基準日的單價表算出上下文使用率、每請求與批次總成本、處理時間與每月預估;改任何單價,結果立刻跟著變。
使用方式
不需註冊也不需設定,每一步都在你的裝置上完成。
選一個預設,或選「直接輸入」自行填參數與每 token 的 KV 大小。兩個值都會顯示,預設值裡沒有藏數字。
量化、上下文長度、KV 快取精度與批次大小決定大部分的總量。輸入時拆分與顯示卡判定立即更新。
總量、三個部分、安全餘裕、需要的卡數與每秒 token 估算並排呈現,並附上符合目前設定的注意事項。
切到 API 分頁,填入 token 與用量、調整單價,再把整份設定與結果以 JSON 或 Markdown 複製或下載。
參考資料
只計權重,以 GiB 表示,不含 KV 快取與額外負擔。計算器使用相同的每權重位元值。
| 等級 | 每權重位元 | 8B 權重 (GiB) | 70B 權重 (GiB) | 405B 權重 (GiB) |
|---|---|---|---|---|
FP1616-bit | 16.00 | 14.90 | 130.4 | 754 |
Q8_08-bit, near-lossless | 8.50 | 7.92 | 69.3 | 401 |
Q6_KK-quant | 6.56 | 6.11 | 53.5 | 309 |
Q5_K_MK-quant, medium | 5.69 | 5.30 | 46.4 | 268 |
Q4_K_MK-quant, medium | 4.85 | 4.52 | 39.5 | 229 |
Q3_K_MK-quant, medium | 3.91 | 3.64 | 31.9 | 184 |
Q2_Ksmallest, visibly lossy | 2.63 | 2.45 | 21.4 | 124 |
每權重位元是 llama.cpp K-quant 常見的平均值,不同檔案會略有差異。Q2_K 與 Q3_K_M 用明顯的品質換取體積,Q4_K_M 成為常見預設是有原因的。
參考資料
最後一欄把本頁的每秒 token 公式套用在 8B 模型 Q4_K_M(權重約 4.5GiB)上,單流、不含 KV 快取。
| 顯示卡 | VRAM (GB) | 頻寬 (GB/s) | 8B Q4_K_M 約 tok/s |
|---|---|---|---|
| RTX 4060 Ti 16 GB | 16 | 288 | ~35 |
| RTX 4070 Ti SUPER 16 GB | 16 | 672 | ~82 |
| RTX 4080 SUPER 16 GB | 16 | 736 | ~90 |
| RTX 3090 24 GB | 24 | 936 | ~114 |
| RTX 4090 24 GB | 24 | 1008 | ~123 |
| RTX 5090 32 GB | 32 | 1792 | ~218 |
| RTX A6000 48 GB | 48 | 768 | ~94 |
| RTX 6000 Ada 48 GB | 48 | 960 | ~117 |
| L40S 48 GB | 48 | 864 | ~105 |
| A100 80 GB | 80 | 2039 | ~248 |
| H100 80 GB SXM | 80 | 3350 | ~408 |
| Apple M4 Max 128 GB (unified) | 128 | 546 | ~66 |
| Apple M2 Ultra 192 GB (unified) | 192 | 800 | ~97 |
頻寬為廠商標示的峰值記憶體頻寬。實際解碼速度通常是這個公式值的 40~70%,取決於執行環境、核心與顯示卡同時在做的其他工作。
計算方式
本頁所有公式與假設都寫在這裡。
權重最單純:參數數 × 每權重位元 ÷ 8,再由十億位元組換算成 GiB。70B 模型用 Q4_K_M 是 70.6 × 4.85 ÷ 8 = 42.8 十億位元組,也就是 39.9GiB。上下文或批次怎麼改都不動這個數字,所以它是任何組態的下限。
最常被低估的是 KV 快取。每一層、每個 token、每條序列都需要 key 與 value 兩個張量,因此它同時隨上下文長度與批次大小成長。Llama 3.1 8B 在 FP16 下每個 token 是 128KiB,8K 上下文是 1GiB,64K 是 8GiB。把快取量化成 Q8 大約減半,Q4 大約剩四分之一。
活化額外負擔是指權重與快取以外,執行環境需要的運算緩衝、logits 與記憶體片段。它取決於核心與批次,所以本頁用一條簡單的保留量公式:0.40GiB 加上參數數(十億)平方根每單位 0.10GiB,再加上每個批次位置每 1,024 token 的 0.00025GiB。請把它當規畫保留量,而不是量測值。
API 端是對公開定價做算術:提示 token 與輸出 token 分別以每百萬 token 單價計算,通常輸出端決定大部分費用。時間用簡單的佇列模型:固定的首 token 延遲、以假設的預填速度除提示量、以假設的解碼速度除輸出量,再依同時執行數把請求分成幾輪。實際延遲會隨供應商負載、區域與思考 token 變動,請把結果當作數量級參考。
weights_GiB = P(B) × bpw ÷ 8 × 0.9313KV_GiB = kv_KiB_per_token × factor ÷ 1,048,576 × tokens × batchoverhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batchtotal_GiB = weights + KV + overheadtok/s ≈ bandwidth_GB/s × 0.55 ÷ weights_GiB;批次 × batch^0.72per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_outlatency ≈ 0.6 s + prompt ÷ prefill + output ÷ decode; wall = ⌈requests ÷ concurrency⌉ × latency常見問題
權重約 4.5GiB(8 × 4.85 每權重位元),再加上 KV 快取與額外負擔。Llama 3.1 8B 在 8K 上下文下快取是 1GiB,本頁的額外負擔保留量約 0.7GiB,規畫值約 6.2GiB。8GB 顯示卡在扣掉安全餘裕後仍剩約 0.5GiB;同一模型拉到 32K 上下文,光快取就 4GiB,合計超過 9GiB,8GB 卡就放不下了。
Q4_K_M 下權重約 39.9GiB,8K 上下文的 KV 快取 2.5GiB,額外負擔保留量約 1.2GiB,合計約 43.6GiB。一張 48GB 顯示卡就能容納,兩張 24GB 在套用安全餘裕後也放得下;不過張量平行不會讓頻寬完全等比增加,速度會下降。
計算器只算權重、KV 快取與固定的活化保留量。實際執行還有 CUDA 環境、顯示驅動與桌面、配置器片段,以及各執行環境的緩衝;編譯過的核心與長上下文注意力還會再加。請留 10~20% 空間,安全餘裕選項就是為此設計。
大約是 FP16 的 Q8 一半、Q4 四分之一,再加上縮放參數的額外負擔。Llama 3.1 8B 在 64K 上下文下,8GiB 會變成約 4.2GiB 或 2.2GiB。它需要 flash-attention 系列核心,並非每個執行環境都支援,長上下文的品質也可能下降,請先實測再依賴。
是 2026-11-21 從各供應商公開價格頁讀到的定價,表格上標了那個日期。部分屬促銷價:Gemini 4 Carbon 在 2026-11-30 前是每百萬 2/10 美元、12 月 1 日起 4/20;Gemini 3.8 Flash 到 2026-12-31 是 0.75/3.75;DeepSeek 離峰半價。每個欄位都能改,連上下文視窗也能改,請填入你的合約單價。
那是頻寬受限的近似:記憶體頻寬 × 0.55 ÷ 權重 GiB。1,000GB/s 的顯示卡跑 8B Q4_K_M 約 120tok/s,與常見回報相符。運算受限的模型、極小批次、CPU 卸載與提示處理都可能偏差超過 40%,請用來比較不同組態,而不是當絕對值。
不會。兩個計算器、單價表與匯出都是本頁的 JavaScript,沒有 fetch、XHR 或 beacon 呼叫。設定只留在你瀏覽器的 localStorage,頁面唯一的對外請求是 head 裡的廣告載入器。
誠實的限制
VRAM 總量是模型推算,不是你機器上讀到的值。不同執行環境、核心與編譯過的注意力路徑用量都不同,本頁標示放得下的組態也可能實際載入失敗。
活化記憶體取決於批次形狀、核心與上下文;0.40 + 0.10√P 的保留量是刻意簡化的值,極長的上下文可能讓注意力緩衝遠超過它。
這項估算假設解碼受制於從記憶體讀取權重的速度。運算受限的模型、極小批次、CPU 卸載或忙碌的顯示卡都會打破這個假設。
表格是某一天的定價快照。供應商會依上下文長度、快取命中、區域與批次處理分層計價,思考 token 也以輸出計費;本頁沒有納入這些區別。要編預算請填入自己的單價。