Gemma 4 には、ローカル実行向けに主に E2B、E4B、26B A4B、31B の4サイズがあります。 E2B と E4B は軽量・エッジデバイス向け、26B A4B は MoE アーキテクチャ、31B はより大きな dense モデルです。

ローカル実行で混同しやすい数字は次の2つです。

• GGUF ファイルサイズ：モデル重みファイルそのものの大きさ。
• 実際のVRAM使用量：モデル重み、KV cache、ランタイムのオーバーヘッド、コンテキスト長、マルチモーダル投影ファイルの有無で決まる。

以下の表は、GGUF ファイルサイズをもとにVRAM要件を見積もったものです。 前提は llama.cpp、LM Studio、Ollama などで、主にテキスト推論を行い、短〜中程度のコンテキストを使うローカル環境です。 長いコンテキスト、画像/音声入力、並列リクエストを使う場合は、さらにVRAMの余裕が必要です。

まず結論

まずローカルで使えるものを動かしたいなら、E4B Q4_K_M または E2B Q4_K_M から始めるのが現実的です。 24GB VRAM があれば、26B A4B Q4_K_M と 31B Q4_K_M がようやく使いやすい範囲に入ります。

Gemma 4 E2B VRAM表

E2B は最も軽量なバージョンで、ノートPC、ミニPC、モバイル端末、低VRAM環境でのテストに向いています。 動かしやすい一方で、複雑な推論、コード生成、長いタスクの安定性には限界があります。

日常的な体験なら E2B Q4_K_M で十分です。 4GB VRAM しかない場合は 2-bit や 3-bit も試せますが、出力品質は不安定になりやすくなります。

Gemma 4 E4B VRAM表

E4B は、より実用的な軽量版です。 E2B よりも日常的な文章作成、資料要約、軽いコード補助、ローカルアシスタント用途に向いています。

8GB VRAM のGPUなら、E4B Q4_K_M が現実的な出発点です。 12GB または 16GB VRAM があるなら、E4B Q8_0 も候補になります。

Gemma 4 26B A4B VRAM表

26B A4B は MoE 版で、総パラメータ数は大きいものの、推論時には一部の専門家だけを有効化します。 より複雑なQ&A、コード、ツール呼び出し、Agent ワークフローに向いています。

26B A4B を快適に使う分岐点は 24GB VRAM です。 16GB GPU でも低ビット版は試せますが、コンテキスト長、並列性、マルチモーダル入力は控えめにする必要があります。

Gemma 4 31B VRAM表

31B はより大きな dense モデルです。 総合能力が高い一方で、VRAM負荷は 26B A4B より直接的に効いてきます。

31B の低ビット版は 16GB GPU でも実験できますが、日常利用には 24GB VRAM から始めるのが無難です。 Q4_K_M はバランスのよい選択で、Q5_K_M 以上は 32GB 以上のVRAMでより現実的です。

実際の使用量がファイルサイズより増える理由

GGUF ファイルサイズは重みの大きさにすぎません。 実行時には次のような追加コストがあります。

• KV cache：コンテキストが長いほど使用量が増える。
• バッチサイズと並列性：一度に処理する token やユーザー数が増えるとVRAMも増える。
• マルチモーダル部品：画像、音声、動画入力では通常 mmproj や追加モジュールが必要。
• ランタイムバックエンド：CUDA、Metal、ROCm、CPU/GPU 分割ロードで占用が変わる。
• KV cache 量子化：q8_0、q4_0 などでVRAMを節約できるが、細部に影響する場合がある。

そのため、表の「最低VRAM」は「起動して短いコンテキストで動く」目安として見るべきです。 32K、64K、128K、さらに 256K コンテキストを使う場合、必要VRAMは大きく増えます。

どう選ぶか

ローカルで Gemma 4 を試したいだけなら：

• 4GB〜6GB VRAM：E2B Q3_K_M または E2B Q4_K_M。
• 8GB VRAM：まず E4B Q4_K_M。E2B Q8_0 も選択肢。
• 12GB VRAM：E4B Q8_0、または 26B/31B の低ビット版を試す。
• 16GB VRAM：26B A4B UD-Q3_K_M または 31B Q3_K_S を試せるが、長いコンテキストは期待しすぎない。
• 24GB VRAM：26B A4B UD-Q4_K_M と 31B Q4_K_M が本命。
• 32GB 以上：Q5_K_M、Q6_K、またはより長いコンテキストを検討。

多くのユーザーに BF16 は不要です。 ローカル部署で重要なのは、ファイルサイズの大きさではなく、VRAM、速度、コンテキスト長、出力品質のバランスです。

参考元

• google/gemma-4-E2B-it - Hugging Face
• google/gemma-4-E4B-it - Hugging Face
• ggml-org/gemma-4-26B-A4B-it-GGUF - Hugging Face
• unsloth/gemma-4-E2B-it-GGUF - Hugging Face
• unsloth/gemma-4-E4B-it-GGUF - Hugging Face
• unsloth/gemma-4-26B-A4B-it-GGUF - Hugging Face
• unsloth/gemma-4-31B-it-GGUF - Hugging Face