PromptMeterLLM 容量與成本

本機 VRAM · GGUF 量化 · API 批次成本

這個模型放得進顯示卡嗎?這批 API 要花多少?

PromptMeter 在你下載 GGUF 檔之前、送出 API 批次之前先回答兩件事:在所選的量化、上下文長度與批次大小下,權重、KV 快取與活化額外負擔各佔多少 VRAM;以及在標示基準日、可自行修改的單價表上,這一批要花多少錢。兩個結果都會附上計算式、資料基準日,以及這項估算看不見的地方。全部都在這個分頁內計算,不上傳、不需帳號、不呼叫伺服器。

從 1.5B 到 671B 選一個預設模型,或直接輸入參數,選擇 FP16 到 Q2_K 的量化、2K~128K 的上下文、FP16/Q8/Q4 的 KV 快取與批次大小,頁面會把總 VRAM 拆成權重、KV 快取與額外負擔,逐一標示 8GB 到 80GB 每種容量是放得下還是差多少,算出多卡組態需要幾張卡,並依記憶體頻寬估算每秒 token。第二個分頁處理 API 端:上下文使用率、每請求與批次總成本、處理時間與 30 天預估,全部依一張在畫面上標示基準日、每個欄位都能改的單價表計算。

單價基準日 2026-11-21VRAM 計算 權重 + KV + 額外負擔工具網路請求 0 次

PromptMeter 計算器

模型與執行條件

需要的 VRAM 總量

0GiB

—
  • 權重 0 GiB
  • KV 快取 0 GiB
  • 額外負擔 0 GiB
每 token KV—
VRAM 使用率—
需要卡數—
餘裕—
單流—tok/s
批次總和—tok/s
每請求—tok/s

此設定下的顯示卡適配

    這個總量怎麼算出來的

    —

    weights_GiB = P × bpw ÷ 8 × 0.9313 KV_GiB = kv_KiB/token ÷ 1,048,576 × tokens × batch overhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batch tok/s ≈ bandwidth × 0.55 ÷ weights_GiB

    每 token 的 KV 值以這個模型的層數與 KV 頭在 FP16 下計算,再乘上量化係數與批次大小。

    它能做什麼

    兩個計算器,一個誠實的頁面

    決定的左邊是容量,右邊是支出。

    VRAM

    一個總數,拆成三個部分

    權重由參數數與每權重位元算出,KV 快取由層數、上下文與批次算出,再加上活化保留量。看到的是三個部分與各自比例,而不只是一個數字。

    GGUF

    七個量化等級

    FP16、Q8_0、Q6_K、Q5_K_M、Q4_K_M、Q3_K_M、Q2_K 與各自的概略每權重位元,讓你在下載前就知道降一級能省多少。

    KV

    上下文與 KV 快取量化

    2K 到 128K 的上下文、FP16/Q8/Q4 的 KV 快取,批次大小會乘到每一個被保存的 token 上。長上下文與批次會把同一份快取成倍放大。

    適配

    顯示卡判定與卡數

    8GB 到 80GB 每種容量都以 GiB 標示還剩多少或差多少,可關閉的安全餘裕,並依所選顯示卡算出多卡組態需要的張數。

    速度

    附上算式的每秒 token

    以記憶體頻寬近似單流與批次解碼速度,數字可以自行驗算,也會說明可能偏差多少。

    成本

    可相信也可修改的 API 批次成本

    依標示基準日的單價表算出上下文使用率、每請求與批次總成本、處理時間與每月預估;改任何單價,結果立刻跟著變。

    使用方式

    從模型名稱到決定,四個步驟

    不需註冊也不需設定,每一步都在你的裝置上完成。

    01

    選模型

    選一個預設,或選「直接輸入」自行填參數與每 token 的 KV 大小。兩個值都會顯示,預設值裡沒有藏數字。

    02

    設定執行條件

    量化、上下文長度、KV 快取精度與批次大小決定大部分的總量。輸入時拆分與顯示卡判定立即更新。

    03

    讀出適配結果

    總量、三個部分、安全餘裕、需要的卡數與每秒 token 估算並排呈現,並附上符合目前設定的注意事項。

    04

    計算 API 並匯出

    切到 API 分頁,填入 token 與用量、調整單價,再把整份設定與結果以 JSON 或 Markdown 複製或下載。

    參考資料

    GGUF 量化等級與重量

    只計權重,以 GiB 表示,不含 KV 快取與額外負擔。計算器使用相同的每權重位元值。

    等級每權重位元8B 權重 (GiB)70B 權重 (GiB)405B 權重 (GiB)
    FP16
    16-bit
    16.0014.90130.4754
    Q8_0
    8-bit, near-lossless
    8.507.9269.3401
    Q6_K
    K-quant
    6.566.1153.5309
    Q5_K_M
    K-quant, medium
    5.695.3046.4268
    Q4_K_M
    K-quant, medium
    4.854.5239.5229
    Q3_K_M
    K-quant, medium
    3.913.6431.9184
    Q2_K
    smallest, visibly lossy
    2.632.4521.4124

    每權重位元是 llama.cpp K-quant 常見的平均值,不同檔案會略有差異。Q2_K 與 Q3_K_M 用明顯的品質換取體積,Q4_K_M 成為常見預設是有原因的。

    參考資料

    顯示卡記憶體與頻寬

    最後一欄把本頁的每秒 token 公式套用在 8B 模型 Q4_K_M(權重約 4.5GiB)上,單流、不含 KV 快取。

    顯示卡VRAM (GB)頻寬 (GB/s)8B Q4_K_M 約 tok/s
    RTX 4060 Ti 16 GB16288~35
    RTX 4070 Ti SUPER 16 GB16672~82
    RTX 4080 SUPER 16 GB16736~90
    RTX 3090 24 GB24936~114
    RTX 4090 24 GB241008~123
    RTX 5090 32 GB321792~218
    RTX A6000 48 GB48768~94
    RTX 6000 Ada 48 GB48960~117
    L40S 48 GB48864~105
    A100 80 GB802039~248
    H100 80 GB SXM803350~408
    Apple M4 Max 128 GB (unified)128546~66
    Apple M2 Ultra 192 GB (unified)192800~97

    頻寬為廠商標示的峰值記憶體頻寬。實際解碼速度通常是這個公式值的 40~70%,取決於執行環境、核心與顯示卡同時在做的其他工作。

    計算方式

    數字是怎麼產生的

    本頁所有公式與假設都寫在這裡。

    權重最單純:參數數 × 每權重位元 ÷ 8,再由十億位元組換算成 GiB。70B 模型用 Q4_K_M 是 70.6 × 4.85 ÷ 8 = 42.8 十億位元組,也就是 39.9GiB。上下文或批次怎麼改都不動這個數字,所以它是任何組態的下限。

    最常被低估的是 KV 快取。每一層、每個 token、每條序列都需要 key 與 value 兩個張量,因此它同時隨上下文長度與批次大小成長。Llama 3.1 8B 在 FP16 下每個 token 是 128KiB,8K 上下文是 1GiB,64K 是 8GiB。把快取量化成 Q8 大約減半,Q4 大約剩四分之一。

    活化額外負擔是指權重與快取以外,執行環境需要的運算緩衝、logits 與記憶體片段。它取決於核心與批次,所以本頁用一條簡單的保留量公式:0.40GiB 加上參數數(十億)平方根每單位 0.10GiB,再加上每個批次位置每 1,024 token 的 0.00025GiB。請把它當規畫保留量,而不是量測值。

    API 端是對公開定價做算術:提示 token 與輸出 token 分別以每百萬 token 單價計算,通常輸出端決定大部分費用。時間用簡單的佇列模型:固定的首 token 延遲、以假設的預填速度除提示量、以假設的解碼速度除輸出量,再依同時執行數把請求分成幾輪。實際延遲會隨供應商負載、區域與思考 token 變動,請把結果當作數量級參考。

    權重
    weights_GiB = P(B) × bpw ÷ 8 × 0.9313
    0.9313 把 10⁹ 位元組換成 GiB;P 是以十億計的參數數。
    KV 快取
    KV_GiB = kv_KiB_per_token × factor ÷ 1,048,576 × tokens × batch
    factor 為 FP16 1、Q8 0.53、Q4 0.28,已含縮放參數的額外負擔。
    活化額外負擔
    overhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batch
    規畫保留量,不是量測值。
    總量
    total_GiB = weights + KV + overhead
    開啟安全餘裕時與容量 − 1GiB − 4% 比較。
    解碼速度
    tok/s ≈ bandwidth_GB/s × 0.55 ÷ weights_GiB;批次 × batch^0.72
    頻寬受限的解碼再乘 55% 效率,不含提示處理。
    API 費用
    per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_out
    批次總成本為每請求成本 × 請求數;每日與 30 天用你填的每日量。
    API 時間
    latency ≈ 0.6 s + prompt ÷ prefill + output ÷ decode; wall = ⌈requests ÷ concurrency⌉ × latency
    預填與解碼速度是單價表裡可修改的假設值。

    常見問題

    常見問答

    8B 模型用 Q4_K_M 需要多少 VRAM?

    權重約 4.5GiB(8 × 4.85 每權重位元),再加上 KV 快取與額外負擔。Llama 3.1 8B 在 8K 上下文下快取是 1GiB,本頁的額外負擔保留量約 0.7GiB,規畫值約 6.2GiB。8GB 顯示卡在扣掉安全餘裕後仍剩約 0.5GiB;同一模型拉到 32K 上下文,光快取就 4GiB,合計超過 9GiB,8GB 卡就放不下了。

    70B 模型呢?

    Q4_K_M 下權重約 39.9GiB,8K 上下文的 KV 快取 2.5GiB,額外負擔保留量約 1.2GiB,合計約 43.6GiB。一張 48GB 顯示卡就能容納,兩張 24GB 在套用安全餘裕後也放得下;不過張量平行不會讓頻寬完全等比增加,速度會下降。

    為什麼機器實際回報的 VRAM 比這裡高?

    計算器只算權重、KV 快取與固定的活化保留量。實際執行還有 CUDA 環境、顯示驅動與桌面、配置器片段,以及各執行環境的緩衝;編譯過的核心與長上下文注意力還會再加。請留 10~20% 空間,安全餘裕選項就是為此設計。

    KV 快取量化真的能省那麼多嗎?

    大約是 FP16 的 Q8 一半、Q4 四分之一,再加上縮放參數的額外負擔。Llama 3.1 8B 在 64K 上下文下,8GiB 會變成約 4.2GiB 或 2.2GiB。它需要 flash-attention 系列核心,並非每個執行環境都支援,長上下文的品質也可能下降,請先實測再依賴。

    API 單價從哪裡來、多久更新?

    是 2026-11-21 從各供應商公開價格頁讀到的定價,表格上標了那個日期。部分屬促銷價:Gemini 4 Carbon 在 2026-11-30 前是每百萬 2/10 美元、12 月 1 日起 4/20;Gemini 3.8 Flash 到 2026-12-31 是 0.75/3.75;DeepSeek 離峰半價。每個欄位都能改,連上下文視窗也能改,請填入你的合約單價。

    每秒 token 的估算有多準?

    那是頻寬受限的近似:記憶體頻寬 × 0.55 ÷ 權重 GiB。1,000GB/s 的顯示卡跑 8B Q4_K_M 約 120tok/s,與常見回報相符。運算受限的模型、極小批次、CPU 卸載與提示處理都可能偏差超過 40%,請用來比較不同組態,而不是當絕對值。

    我輸入的內容會被送到哪裡嗎?

    不會。兩個計算器、單價表與匯出都是本頁的 JavaScript,沒有 fetch、XHR 或 beacon 呼叫。設定只留在你瀏覽器的 localStorage,頁面唯一的對外請求是 head 裡的廣告載入器。

    誠實的限制

    這個頁面無法告訴你的事

    是估算,不是量測

    VRAM 總量是模型推算,不是你機器上讀到的值。不同執行環境、核心與編譯過的注意力路徑用量都不同,本頁標示放得下的組態也可能實際載入失敗。

    額外負擔是公式

    活化記憶體取決於批次形狀、核心與上下文;0.40 + 0.10√P 的保留量是刻意簡化的值,極長的上下文可能讓注意力緩衝遠超過它。

    每秒 token 不考慮運算上限

    這項估算假設解碼受制於從記憶體讀取權重的速度。運算受限的模型、極小批次、CPU 卸載或忙碌的顯示卡都會打破這個假設。

    API 單價會變動

    表格是某一天的定價快照。供應商會依上下文長度、快取命中、區域與批次處理分層計價,思考 token 也以輸出計費;本頁沒有納入這些區別。要編預算請填入自己的單價。

    數字的依據

    • 量化 — llama.cpp GGUF K-quant 的每權重位元:FP16 16.0、Q8_0 8.5、Q6_K 6.56、Q5_K_M 5.69、Q4_K_M 4.85、Q3_K_M 3.91、Q2_K 2.63
    • KV 快取 — 每層每 token 兩個張量;每 token 數值由各預設模型的層數與 KV 頭大小推得
    • 顯示卡資料 — 廠商標示的峰值 VRAM 與記憶體頻寬,含統一記憶體的 Mac
    • API 單價 — 2026-11-21 讀取的供應商定價,可在頁面修改
    • 隱私 — 不上傳、不註冊、不分析;設定只留在 localStorage