合計を三つの部分に分けて
パラメータ数とビット/重みから重みを、レイヤー・コンテキスト・バッチから KV キャッシュを、さらに活性化の余裕分を加えます。数字ひとつではなく、三つの内訳と比率を示します。
ローカル VRAM · GGUF 量子化 · API バッチ費用
PromptMeter は GGUF ファイルをダウンロードする前に、そして API バッチを送る前に二つの問いに答えます。ひとつは選択した量子化・コンテキスト長・バッチサイズで重み、KV キャッシュ、活性化オーバーヘッドが占める VRAM。もうひとつは基準日を画面に示した単価表(編集可能)で計算したバッチ 1 回の費用です。どちらも計算式とデータの基準日、そしてこの推定が見ていないものを併記し、すべてこのタブ内で計算されるため、アップロードもアカウントもサーバー呼び出しもありません。
1.5B から 671B までのプリセットを選ぶかパラメータを直接入力し、FP16 から Q2_K までの量子化、2K〜128K のコンテキスト、FP16/Q8/Q4 の KV キャッシュ、バッチサイズを設定すると、合計 VRAM を重み・KV キャッシュ・オーバーヘッドに分けて表示します。8GB から 80GB までの各 GPU 容量について収まるか不足量を GiB で示し、マルチ GPU に必要な枚数と帯域ベースの毎秒トークン推定も計算します。2 つ目のタブは API 側で、コンテキスト使用率、リクエストあたりとバッチ合計の費用、処理時間、30 日間の見込みを、基準日付きの単価表で算出します。単価表のすべての欄を書き換えられます。
必要な VRAM 合計
0GiB
この設定での GPU 適合性
—
weights_GiB = P × bpw ÷ 8 × 0.9313
KV_GiB = kv_KiB/token ÷ 1,048,576 × tokens × batch
overhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batch
tok/s ≈ bandwidth × 0.55 ÷ weights_GiB
トークンあたりの KV はこのモデルのレイヤー数と KV ヘッドを FP16 で計算した値で、そこに量子化係数とバッチサイズを掛けています。
バッチ合計費用
$0.00
—
cost_per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_out
batch_cost = cost_per_request × requests
context_use = (prompt + output) ÷ context_window
latency ≈ 0.6 s + prompt ÷ prefill_tok/s + output ÷ output_tok/s
wall_clock = ⌈ requests ÷ concurrency ⌉ × latency
プリフィルとデコードの速度は単価表の仮定値です。実際の遅延は提供元の負荷と、出力として課金される思考トークンによって変わります。
基準日 2026-11-21 · 提供元の既定値
| モデル | 入力 $/1M | 出力 $/1M | コンテキスト | プリフィル tok/s | 出力 tok/s |
|---|---|---|---|---|---|
| GPT-6.2 AstraOpenAI | |||||
| GPT-6.2 SolOpenAI | |||||
| GPT-6.1 TerraOpenAI | |||||
| Claude Fable 5.2Anthropic | |||||
| Claude Opus 5.5Anthropic | |||||
| Claude Sonnet 5.5Anthropic | |||||
| Claude Haiku 5.5Anthropic | |||||
| Gemini 4 CarbonGoogle | |||||
| Gemini 4 NeonGoogle | |||||
| Gemini 3.8 FlashGoogle | |||||
| DeepSeek FlashDeepSeek | |||||
| DeepSeek V4 ProDeepSeek |
すべての欄を編集できます。契約単価、別のコンテキスト窓、実測したデコード速度を入れてください。編集内容はこのブラウザにだけ保存されます。
このスナップショットの期間限定価格: Gemini 4 Carbon は 2026-11-30 まで百万トークンあたり 2/10、2026-12-01 から 4/20。Gemini 3.8 Flash は 2026-12-31 まで 0.75/3.75、2027-01-01 から 1.50/7.50。DeepSeek の数値はピーク時間の価格で、ピーク外は半額。Claude Haiku 5.5 はプロンプトが 10 万トークンを超えると 0.50/2.50 になります。
できること
判断の左側が容量、右側が支出です。
パラメータ数とビット/重みから重みを、レイヤー・コンテキスト・バッチから KV キャッシュを、さらに活性化の余裕分を加えます。数字ひとつではなく、三つの内訳と比率を示します。
FP16、Q8_0、Q6_K、Q5_K_M、Q4_K_M、Q3_K_M、Q2_K と、それぞれの概算ビット/重みを表示するので、一段下げるとどれだけ減るかがダウンロード前に分かります。
2K から 128K までのコンテキスト、FP16・Q8・Q4 の KV キャッシュ、保存されるすべてのトークンに掛かるバッチサイズ。長いコンテキストとバッチは同じキャッシュを倍々に増やします。
8GB から 80GB までの各容量について、余裕または不足を GiB で表示し、切れる安全余裕を適用し、選択した GPU でのマルチ GPU 構成に必要な枚数を計算します。
メモリ帯域による近似で、単一ストリームとバッチのデコード速度を出します。数字の出どころが検算でき、どれだけ外れうるかも書いてあります。
基準日を示した単価表から、コンテキスト使用率、リクエストあたりとバッチ合計の費用、処理時間、月間見込みを計算します。単価を変えれば結果はすぐに追従します。
使い方
登録も準備も不要です。すべての手順はお使いの端末で完結します。
プリセットを選ぶか「直接入力」を選んでパラメータ数とトークンあたりの KV サイズを入力します。どちらも画面に出るので、プリセットの裏に数字が隠れません。
量子化、コンテキスト長、KV キャッシュの精度、バッチサイズが合計の大部分を決めます。入力すると内訳と GPU 判定がすぐ更新されます。
合計、三つの内訳、安全余裕、必要な枚数、毎秒トークンの推定が一か所に並び、現在の設定に該当する注意書きも一緒に表示されます。
API タブに移ってトークンと量を入れ、単価を調整したうえで、設定と結果の全体を JSON またはMarkdown でコピー・ダウンロードします。
参考資料
KV キャッシュとオーバーヘッドを除いた重みのみを GiB で示します。計算機も同じビット/重みの値を使います。
| 段階 | ビット/重み | 8B の重み (GiB) | 70B の重み (GiB) | 405B の重み (GiB) |
|---|---|---|---|---|
FP1616-bit | 16.00 | 14.90 | 130.4 | 754 |
Q8_08-bit, near-lossless | 8.50 | 7.92 | 69.3 | 401 |
Q6_KK-quant | 6.56 | 6.11 | 53.5 | 309 |
Q5_K_MK-quant, medium | 5.69 | 5.30 | 46.4 | 268 |
Q4_K_MK-quant, medium | 4.85 | 4.52 | 39.5 | 229 |
Q3_K_MK-quant, medium | 3.91 | 3.64 | 31.9 | 184 |
Q2_Ksmallest, visibly lossy | 2.63 | 2.45 | 21.4 | 124 |
ビット/重みは llama.cpp の K-quant でよく報告される平均値で、ファイルによって多少異なります。Q2_K と Q3_K_M はサイズを縮める代わりに目に見える品質低下があり、Q4_K_M が既定値として使われるのには理由があります。
参考資料
最後の列は、このページの毎秒トークン式を 8B モデルの Q4_K_M(重み約 4.5GiB)に当てはめた値です。単一ストリーム、KV キャッシュを除く。
| GPU | VRAM (GB) | 帯域 (GB/s) | 8B Q4_K_M 約 tok/s |
|---|---|---|---|
| RTX 4060 Ti 16 GB | 16 | 288 | ~35 |
| RTX 4070 Ti SUPER 16 GB | 16 | 672 | ~82 |
| RTX 4080 SUPER 16 GB | 16 | 736 | ~90 |
| RTX 3090 24 GB | 24 | 936 | ~114 |
| RTX 4090 24 GB | 24 | 1008 | ~123 |
| RTX 5090 32 GB | 32 | 1792 | ~218 |
| RTX A6000 48 GB | 48 | 768 | ~94 |
| RTX 6000 Ada 48 GB | 48 | 960 | ~117 |
| L40S 48 GB | 48 | 864 | ~105 |
| A100 80 GB | 80 | 2039 | ~248 |
| H100 80 GB SXM | 80 | 3350 | ~408 |
| Apple M4 Max 128 GB (unified) | 128 | 546 | ~66 |
| Apple M2 Ultra 192 GB (unified) | 192 | 800 | ~97 |
帯域はメーカー公称のピークメモリ帯域です。実際のデコード速度はランタイムやカーネル、GPU が同時に行う他の処理によって、この式の値の 40〜70% 程度になるのが普通です。
計算方法
このページの式と仮定はすべてここに書いてあります。
重みは単純です。パラメータ数 × ビット/重み ÷ 8 を、十億バイトから GiB に換算します。70B を Q4_K_M で使うと 70.6 × 4.85 ÷ 8 = 42.8 十億バイト、つまり 39.9GiB です。コンテキストやバッチを変えてもこの値は動かないので、どの構成でもこれが下限になります。
見落とされやすいのが KV キャッシュです。レイヤーごと、トークンごと、系列ごとにキーと値の2 つのテンソルが必要なので、コンテキスト長とバッチサイズの両方に比例して増えます。Llama 3.1 8B は FP16 でトークンあたり 128KiB、8K コンテキストで 1GiB、64K で 8GiB です。キャッシュを Q8 に量子化するとおよそ半分、Q4 でおよそ 4 分の 1 になります。
活性化オーバーヘッドは、重みとキャッシュの外でランタイムが必要とする演算バッファ、ロジット、断片化を指します。カーネルとバッチに依存するため、このページは単純な余裕分の式を使います。0.40GiB にパラメータ数(十億)の平方根あたり 0.10GiB、さらにバッチ枠あたり 1,024 トークンごとに 0.00025GiB を加えます。測定値ではなく計画用の余裕分として扱ってください。
API 側は公開定価に対する算術です。プロンプトのトークンと出力トークンを百万トークンあたりの単価で別々に計算し、通常は出力側が費用を支配します。時間は単純な待ち行列モデルで、最初のトークンまでの遅延に、仮定したプリフィル速度で割ったプロンプト処理時間と、仮定したデコード速度で割った出力時間を足し、同時実行数で割った回数だけ繰り返します。実際の遅延は提供元の負荷、リージョン、思考トークンによって変わるので、桁感覚として読んでください。
weights_GiB = P(B) × bpw ÷ 8 × 0.9313KV_GiB = kv_KiB_per_token × factor ÷ 1,048,576 × tokens × batchoverhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batchtotal_GiB = weights + KV + overheadtok/s ≈ bandwidth_GB/s × 0.55 ÷ weights_GiB; バッチは × batch^0.72per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_outlatency ≈ 0.6 s + prompt ÷ prefill + output ÷ decode; wall = ⌈requests ÷ concurrency⌉ × latency質問
重みが約 4.5GiB(8 × 4.85 ビット/重み)で、そこに KV キャッシュとオーバーヘッドが加わります。Llama 3.1 8B を 8K コンテキストで使うとキャッシュが 1GiB、このページのオーバーヘッド余裕分が約 0.7GiB なので、計画値は 6.2GiB 前後です。8GB カードなら安全余裕を引いても 0.5GiB ほど残ります。同じモデルを 32K にするとキャッシュだけで 4GiB、合計が 9GiB を超えるため 8GB カードには収まりません。
Q4_K_M で重みだけで約 39.9GiB、8K コンテキストの KV キャッシュが 2.5GiB、オーバーヘッド余裕分が約 1.2GiB で、合計およそ 43.6GiB です。48GB カード 1 枚で収まり、24GB を 2 枚でも安全余裕を適用して収まります。ただしテンソル並列は帯域が完全には比例せず速度が落ちます。
計算機は重み、KV キャッシュ、固定の活性化余裕分だけを数えます。実際の実行では CUDA コンテキスト、グラフィックスドライバーとデスクトップ、アロケータの断片化、ランタイム固有のバッファも必要で、コンパイル済みカーネルや長いコンテキストのアテンションも加わります。10〜20% は空けておいてください。安全余裕のオプションがそのためのものです。
およそ FP16 に対して Q8 は半分、Q4 は 4 分の 1 にスケールのオーバーヘッドを足した程度です。Llama 3.1 8B の 64K コンテキストでは 8GiB が 4.2GiB または 2.2GiB になります。flash-attention 系のカーネルが必要で、すべてのランタイムが対応しているわけではなく、長いコンテキストでは品質が下がることがあるので、実際に測ってから頼ってください。
2026-11-21 に各提供元の公開価格ページから読んだ定価で、表にその日付を表示しています。一部は期間限定です。Gemini 4 Carbon は 2026-11-30 まで百万トークンあたり 2/10 ドルで 12 月 1 日から 4/20 ドル、Gemini 3.8 Flash は 2026-12-31 まで 0.75/3.75、DeepSeek はピーク外で半額です。すべての欄を編集でき、コンテキスト窓も変えられるので、契約単価を入れて使ってください。
帯域律速の近似で、メモリ帯域 × 0.55 ÷ 重みの GiB です。1,000GB/s のカードで 8B Q4_K_M なら約 120tok/s となり、この組み合わせで報告される範囲に収まります。演算律速のモデル、非常に小さいバッチ、CPU オフロード、プロンプト処理では 40% 以上外れることがあるので、構成どうしの比較に使ってください。
送られません。二つの計算機、単価表、書き出しはすべてこのページの JavaScript で、fetch も XHR もビーコンもありません。設定はお使いのブラウザの localStorage にだけ残り、ページの外部リクエストは head の広告ローダーだけです。
正直な限界
VRAM の合計はモデルであり、お使いの機械から読み取った値ではありません。ランタイムやカーネル、コンパイルされたアテンション経路によって使用量は変わり、このページが収まると示した構成でも実際には読み込みに失敗することがあります。
活性化メモリはバッチの形、カーネル、コンテキストに依存します。0.40 + 0.10√P の余裕分は意図的に単純にした値で、非常に長いコンテキストではアテンションのバッファがこれを大きく超えることがあります。
この推定は、デコードが重みをメモリから読む速度に律速されると仮定しています。演算律速のモデル、小さなバッチ、CPU オフロード、他の処理が動く GPU ではこの仮定が崩れます。
表はある日の定価のスナップショットです。提供元はコンテキスト長、キャッシュ命中、リージョン、バッチ処理で価格を分け、思考トークンは出力として課金されます。ここではその区別を扱っていないので、実際の予算には自分の単価を入れてください。