我做了一次偏極限的嘗試:在 Raspberry Pi 5(8GB RAM) 上運行 Gemma 4。目標不是大模型版本,而是最小體量的 E2B。
結論先說:能跑、能用,但更適合低互動頻率場景,不適合高即時要求的對話體驗。
測試環境
- 設備:Raspberry Pi 5(4 核 CPU,8GB RAM)
- 系統:Ubuntu Server(無圖形介面)
- 存取方式:SSH
- 模型運行方式:LM Studio CLI(僅命令列模式)
- 模型:Gemma 4 E2B(約 4.5GB)
第 1 步:安裝並啟動 LM Studio CLI
我在樹莓派上安裝了 LM Studio 的 CLI 版本,然後啟動服務並查看可用命令。
由於是純命令列環境,這種僅命令列部署方式非常適合樹莓派。
第 2 步:把模型儲存切到 SSD
為了避免頻繁讀寫 SD 卡,我把模型下載目錄改到了外接 SSD。
樹莓派 5 接 SSD 的體驗明顯比早期機型更實用,長期運行本地模型建議優先使用 SSD。
第 3 步:下載並載入 Gemma 4 E2B
下載完成後,模型可以正常載入進記憶體。
按官方資訊,Gemma 4 系列具備:
- 面向 Agent 場景的工具呼叫能力(function calling)
- 多模態能力(含影像/影片;小模型也具備語音相關能力)
128K上下文視窗- Apache 2.0 授權(可商用)
從樹莓派的硬體條件看,E2B 這一檔更適合先試起來。
第 4 步:啟動 API 並開放區域網路存取
模型載入後,我先在本機連接埠啟動 API(4000),並透過 HTTP 請求確認模型清單可返回。
問題在於:預設只監聽本機,區域網路其他設備無法直接存取。
因為啟動參數裡不能直接設定 host,我用了 socat 做連接埠轉發,把樹莓派外部連接埠請求橋接到 LM Studio 內部連接埠,實現區域網路存取。
結果是可行的:我在同一區域網路的 MacBook 上能成功請求並拿到模型清單。
第 5 步:接入編輯器(Zed)
LM Studio 的本地服務相容 OpenAI API 形態,因此多數支援自訂 base_url 的工具都可以直接接入。
我在 Zed 裡新增了一個 LLM provider,指向樹莓派上的 Gemma 4 實例,隨後在編輯器內聊天測試通過。
實際可用性判斷
這套方案適合:
- 本地自動化腳本
- 低併發、低即時性要求的輔助任務
- 個人學習與邊緣設備實驗
不太適合:
- 高頻互動聊天
- 對回應延遲敏感的開發協作場景
結論
在 Raspberry Pi 5 上運行 Gemma 4(E2B)是可行的,而且實際效果比預期更好。
如果你的目標是「能離線跑、能接工具、能完成輕中量任務」,這條路線值得嘗試;如果目標是流暢即時互動,仍建議上更強硬體。