樹莓派 5 跑 Gemma 4 實測:可行,但回應較慢

從 LM Studio CLI 部署到區域網路呼叫與編輯器接入,實測 Gemma 4 在樹莓派 5 上的可用性與效能邊界。

我做了一次偏極限的嘗試:在 Raspberry Pi 5(8GB RAM) 上運行 Gemma 4。目標不是大模型版本,而是最小體量的 E2B

結論先說:能跑、能用,但更適合低互動頻率場景,不適合高即時要求的對話體驗。

測試環境

  • 設備:Raspberry Pi 5(4 核 CPU,8GB RAM)
  • 系統:Ubuntu Server(無圖形介面)
  • 存取方式:SSH
  • 模型運行方式:LM Studio CLI(僅命令列模式)
  • 模型:Gemma 4 E2B(約 4.5GB)

第 1 步:安裝並啟動 LM Studio CLI

我在樹莓派上安裝了 LM Studio 的 CLI 版本,然後啟動服務並查看可用命令。

由於是純命令列環境,這種僅命令列部署方式非常適合樹莓派。

第 2 步:把模型儲存切到 SSD

為了避免頻繁讀寫 SD 卡,我把模型下載目錄改到了外接 SSD。

樹莓派 5 接 SSD 的體驗明顯比早期機型更實用,長期運行本地模型建議優先使用 SSD。

第 3 步:下載並載入 Gemma 4 E2B

下載完成後,模型可以正常載入進記憶體。

按官方資訊,Gemma 4 系列具備:

  • 面向 Agent 場景的工具呼叫能力(function calling)
  • 多模態能力(含影像/影片;小模型也具備語音相關能力)
  • 128K 上下文視窗
  • Apache 2.0 授權(可商用)

從樹莓派的硬體條件看,E2B 這一檔更適合先試起來。

第 4 步:啟動 API 並開放區域網路存取

模型載入後,我先在本機連接埠啟動 API(4000),並透過 HTTP 請求確認模型清單可返回。

問題在於:預設只監聽本機,區域網路其他設備無法直接存取。

因為啟動參數裡不能直接設定 host,我用了 socat 做連接埠轉發,把樹莓派外部連接埠請求橋接到 LM Studio 內部連接埠,實現區域網路存取。

結果是可行的:我在同一區域網路的 MacBook 上能成功請求並拿到模型清單。

第 5 步:接入編輯器(Zed)

LM Studio 的本地服務相容 OpenAI API 形態,因此多數支援自訂 base_url 的工具都可以直接接入。

我在 Zed 裡新增了一個 LLM provider,指向樹莓派上的 Gemma 4 實例,隨後在編輯器內聊天測試通過。

實際可用性判斷

這套方案適合:

  • 本地自動化腳本
  • 低併發、低即時性要求的輔助任務
  • 個人學習與邊緣設備實驗

不太適合:

  • 高頻互動聊天
  • 對回應延遲敏感的開發協作場景

結論

Raspberry Pi 5 上運行 Gemma 4(E2B)是可行的,而且實際效果比預期更好。

如果你的目標是「能離線跑、能接工具、能完成輕中量任務」,這條路線值得嘗試;如果目標是流暢即時互動,仍建議上更強硬體。

相關文章

记录并分享
使用 Hugo 建立
主題 StackJimmy 設計