Gemma 4 を実行している Raspberry Pi 5 の実際のテスト: 実行可能ですが、応答が遅い

極端な試み: Raspberry Pi 5（8GB RAM） で Gemma 4 を実行します。目標は、大規模なモデルバージョンではなく、E2B の最小バージョンです。

結論から始めましょう。実行して使用することはできますが、対話頻度の低いシナリオに適しており、リアルタイム要件の高い対話エクスペリエンスには適していません。

テスト環境

LM Studio の CLI バージョンをインストールし、サービスを開始して、使用可能なコマンドを確認します。

これは純粋なコマンドライン環境であるため、このコマンドラインのみの展開方法は Raspberry Pi に非常に適しています。

SDカードの頻繁な読み書きを避けるため、モデルのダウンロードディレクトリを外付けSSDに変更しました。

SSD を Raspberry Pi 5 に接続する体験は、明らかに以前のモデルよりも実用的です。長期的なローカルモデルでは、最初に SSD を使用することをお勧めします。

ダウンロードが完了すると、モデルをメモリに正常にロードできるようになります。

公式情報によると、Gemma 4 シリーズには次の機能があります。

Raspberry Pi のハードウェア条件から判断すると、最初に試すには E2B レベルの方が適しています。

モデルがロードされた後、まずローカルポートで API (4000) を開始し、HTTP リクエストを通じてモデルリストが返されることを確認します。

問題は、デフォルトではこのマシンのみを監視し、LAN 上の他のデバイスは直接アクセスできないことです。

起動パラメータでホストを直接設定できないため、ポート転送に socat を使用して、Raspberry Pi の外部ポート要求を LM Studio の内部ポートにブリッジし、LAN アクセスを実現しました。

結果はうまくいきました。同じ LAN 上の MacBook 上のモデルのリストを正常にリクエストして取得することができました。

LM Studio のローカルサービスは OpenAI API フォームと互換性があるため、カスタム base_url をサポートするほとんどのツールに直接アクセスできます。

Raspberry Pi 上の Gemma 4 インスタンスを指す新しい LLM プロバイダーを Zed に追加したところ、エディターでのチャットテストに合格しました。

このパッケージは次の用途に適しています。

以下にはあまり適していません:

Gemma 4 (E2B) を Raspberry Pi 5 で実行することは実現可能で、予想よりもうまく機能します。

オフラインで実行し、ツールを入手し、軽度および中度のタスクを完了できるようにすることが目標である場合、このルートは試してみる価値があります。スムーズなリアルタイムインタラクションが目標の場合でも、より強力なハードウェアを入手することをお勧めします。