本地 AI vs 雲端 AI：Gemma 4 + Ollama vs DeepSeek + Claude

2026-06-05 · 觀點分享 · Eric Cheung

前言 — 本地 AI 嘅新時代？

快速結論（TL;DR）

• Gemma 4 12B 精準 targeting 16GB RAM 嘅入門用戶，配合 AI Edge Gallery 同 Eloquent 兩個 macOS App 做到雙擊即用、完全離線
• 成本同速度上雲端完勝：DeepSeek V4 Flash 每月只需 US$1–3，response 1–3 秒，本地 12B 模型得 10–20 tokens/sec
• 本地方案最大優勢係私隱同離線，敏感數據唔會離開部機，但 12B 模型嘅能力同 DeepSeek V4 有明顯距離
• 對 daily heavy user 嚟講最理想係混合方案：雲端做 heavy lifting，本地做敏感任務，語音做快速記錄

最近 Google 發佈咗 Gemma 4 12B，一個專門為個人電腦設計嘅開源模型，仲特別強調「16GB RAM 就夠 run」。同期推出咗兩款 macOS 原生桌面 App：AI Edge Gallery（支援喺對話中直接執行 Python 程式碼、繪製科學圖表，完全離線）同 AI Edge Eloquent（語音對話輸入，用 Gemma 4 12B 做語音轉文字編輯）。

呢個消息對我哋呢啲 daily heavy user 嚟講好震撼 — 以前要「本地跑 AI」通常係指用 Ollama 開 terminal 打 command，而家 Google 話你可以好似用 ChatGPT Desktop 咁，雙擊 App 就開箱即用。

但我心入面即刻出現咗一個問題：呢套本地方案，喺我嘅 daily workflow 入面，真係取代到而家我用緊嘅 DeepSeek V4 Flash + Claude Code + Hermes Agent 嗎？

我而家嘅 Setup

先講清楚我而家用緊咩，咁先有 baseline 可以做對比：

• LLM Model：DeepSeek V4 Flash（主要用 Flash，有時 intensive task 轉 Pro）
• Coding Agent：Claude Code（terminal-based，做 code generation、debugging、refactoring）
• Orchestration / Automation：Hermes Agent（Telegram-based，管理 automation pipeline、scheduled tasks、multi-agent workflows）
• 溝通方式：全部行 Telegram / Terminal，無 GUI，但勝在可以 background run 同 schedule
• 成本：每月大約 US$1–3（DeepSeek 極平，Claude Code 另計但用量唔大）

Google 新方案解讀

Gemma 4 12B — 12B 參數嘅本地模型

Gemma 4 12B 係 Google 最新嘅開源模型系列之一（仲有 26B 同 31B 版本）。12B 呢個 size 好有意思 — 佢剛好踩喺「16GB RAM 電腦能 run」嘅 threshold 上。以 Q4_K_M 量化計，大約佔 7–8GB RAM，加上 macOS 同系統 overhead，16GB MacBook Air / Pro 勉強夠用。

但如果你得 8GB RAM（例如部分 MacBook Air M1/M2 入門款），12B 就太肥了，要用 Gemma 3 嘅 4B 或 1B 模型。相反如果你有 32GB+ RAM，咁你其實可以 run Gemma 4 26B 甚至 31B，或者用 Llama 3、Qwen 2.5 等其他本地模型。

換句話說：Gemma 4 12B 係精準 targeting 咗「16GB RAM 想入門本地 AI」呢個 niche — RAM 少過 16GB 嘅用唔到，多過 16GB 嘅有更好選擇。

AI Edge Gallery（macOS）

呢個 App 原本係 Android 版，而家擴展到 macOS。特色係：對話式介面 + 內置 Python 執行環境 + 圖表繪製。你可以直接同 Gemma 4 對話，叫佢寫 code，然後佢會喺 App 入面直接 run 俾你睇。完全離線，唔洗上網，資料唔離開你部機。

比較似一個「輕量級 Jupyter Notebook + ChatGPT Desktop 混合體」，不過背後行嘅係本地 Gemma 4 而唔係雲端模型。

AI Edge Eloquent（macOS）

呢個主打語音。你可以用講嘅方式同 Gemma 4 對話，然後佢識得將語音轉做文字，幫你編輯、整理、甚至執行指令。適合想用語音控制電腦嘅用戶。

五大維度對比

以下係我從實際使用角度，逐點分析兩套方案嘅優劣。

1️⃣ 成本：雲端完勝

呢個可以話係最大嘅差距。DeepSeek V4 Flash 嘅定價極度便宜：

• Input（Cache Hit）：US$0.0028 / 1M tokens — 幾乎免費
• Input（Cache Miss）：US$0.14 / 1M tokens
• Output：US$0.28 / 1M tokens

講個實數：我作為 daily heavy user，每日 send 幾百條 message 做 automation、debugging、code generation，一個月嘅 DeepSeek API 費用大約 US$1–3。唔係「平到笑」，係「平到近乎免費」。

反觀本地方案：Gemma 4 12B 嘅模型本身免費（開源）。但你要諗清楚 —— 雖然唔洗俾 API 費用，但你要：

• 有一部 16GB RAM 嘅電腦（唔係人人都有一部 spare machine）
• 承受 inference 嘅電費（雖則 MacBook Air 好省電）
• 或者買一部新機／GPU 去 run（成本 $8K–$50K+）

結論：如果你已經有 DeepSeek API 嘅 workflow，轉去本地方案唔會幫你慳到錢，反而可能令你多咗硬件成本。

2️⃣ 速度與效能：雲端秒回 vs 本地慢慢諗

呢個係最現實嘅考慮。DeepSeek V4 Flash 喺雲端 server 上行，有 GPU cluster 加持，response 通常喺 1–3 秒內。即使係超大 context 嘅任務，都唔會慢得去邊。

本地 Gemma 4 12B 行 Q4_K_M 量化，喺 MacBook Air M3 16GB 上，大約 10–20 tokens/sec。咩概念？一句 100 tokens 嘅回覆要 5–10 秒。如果係 code generation 出幾百行 code，可能要等 30 秒到 1 分鐘。

對於 coding 嚟講，呢個速度係 好大打擊。我用 Claude Code 做 coding 嘅時候，經常要 iterate — 改一句 prompt，睇結果，再改。如果每次等 30 秒，個 flow 會完全斷開。

不過，如果只係做 簡單 data analysis、Plotly 圖表、文字摘要 呢類一次性任務，10–20 tokens/sec 係完全可以接受嘅。

所以：本地 AI 對 coding agent workflow 嚟講太慢，但對分析/圖表/對話類任務夠用。

3️⃣ 私隱與離線：本地 AI 嘅 killer feature

呢個係本地方案最強嘅賣點。完全離線、資料唔離開你部機。對於處理敏感數據（醫療、金融、法律、企業內部文件），呢個係無可取代嘅優勢。

DeepSeek V4 雖然便宜，但所有 prompt 同 code 都要 send 上雲端 server。就算 DeepSeek 話唔會儲存用戶數據，但對於有嚴格 compliance requirement 嘅場景，呢個始終係一個 concern。

另外，離線運作意味住你 唔需要網絡。坐飛機、喺地鐵 tunnel、喺 remote site — 只要你部機有電，你就可以繼續用 AI。呢個對於經常要 travel 嘅人嚟講好實用。

但要注意：Gemma 4 12B 嘅模型能力始終不及 DeepSeek V4 Flash。12B vs DeepSeek V4（估計超過 100B+ 參數，混合專家架構），能力差距明顯。私隱同能力之間係一個 trade-off。

4️⃣ Coding 適用性：雲端仲有一段距離

呢個係我個人最關心嘅點。我嘅 daily workflow 係：

# 用 Telegram 同 Hermes Agent 講要做咩
# Hermes 用 DeepSeek V4 + Claude Code 執行
# 寫 code → run → debug → rewrite → push
# 整個過程講幾句自然語言就得

呢個 workflow 依賴兩個嘢：極低 latency（即時 iteration）同 強 model capability（理解複雜 coding task）。

Gemma 4 12B 嘅推理能力係好過之前嘅 Gemma 3 同其他 7B–8B 模型，但同 DeepSeek V4 Flash 比，喺複雜 coding task（refactoring、bug hunting in unfamiliar codebase、multi-file 改動）上仲有一段距離。再加上速度問題，我唔建議用 Gemma 4 12B 做 primary coding agent。

不過，AI Edge Gallery 嘅 Python inline execution 功能好有趣 — 你叫 Gemma 4 幫你寫一段 data analysis script，佢寫完即刻 run 俾你睇，出 chart，全部喺 App 入面。呢個對於 data analyst / non-coder 嚟講係 killer feature。

5️⃣ 用戶體驗：GUI vs Terminal

呢個係 subjective 嘅，但值得講。Google 嘅 AI Edge Gallery 同 Eloquent 提供咗一個好靚嘅 GUI，唔洗 touch terminal，雙擊就開到。對於 對 terminal 有恐懼嘅用戶（例如 business analyst、marketing、學生），呢個體驗係革命性嘅。

而我而家用嘅 DeepSeek + Claude Code + Hermes Agent 係完全 terminal / Telegram based。對於 developer 嚟講呢個係 advantage — 可以 script、可以 schedule、可以 pipe 去其他工具。但對於非技術用戶，佢哋可能會覺得「乜你仲用緊黑底白字嘅嘢？」

AI Edge Eloquent 嘅語音功能更加係一個大亮點。想像一下：你一邊做其他嘢（煮飯、揸車、做運動），一邊用講嘅方式同 AI 對話，叫佢幫你整理 idea、生成 draft。呢個係 terminal 永遠做唔到嘅嘢。

場景推薦：你應該揀邊個？

以下係我個人嘅建議，按使用場景分類：

✅ 揀本地方案（Gemma 4 + AI Edge Gallery/Eloquent）如果你：

• 有 16GB RAM Mac，想入門本地 AI 而唔想搞 terminal
• 處理敏感數據，唔可以上雲端
• 經常冇網絡（飛機、地鐵、偏遠地區）
• 想做 data analysis / 圖表 / 文字工作，唔係 heavy coding
• 想試語音控制電腦嘅新體驗

✅ 揀雲端方案（DeepSeek + Claude Code + Hermes Agent）如果你：

• 係 daily heavy user，需要快速 iteration
• 做大量 coding（refactoring、debugging、code generation）
• 想要無限 context length（DeepSeek V4 支援 1M tokens）
• 想用 agentic workflow（Hermes Agent + Claude Code 自動化）
• 唔介意 data 上雲端（或者 company policy 允許）
• 想 budget 控制在每月 US$1–3

🤝 混合方案（兩者並用）—— 我認為最理想：

• 用 DeepSeek V4 Flash + Claude Code 做 daily coding 同 heavy lifting
• 用 Hermes Agent 管理 automation pipeline 同 scheduled tasks
• 用 AI Edge Gallery（本地 Gemma 4） 做敏感數據分析同 prototyping
• 用 AI Edge Eloquent 做語音筆記同 brainstorming

結語：本地 AI 嘅價值不在於取代雲端

Gemma 4 12B 同 AI Edge Gallery/Eloquent 係一個好重要嘅里程碑。佢哋代表咗 Google 對「AI 應該點樣走入普通人生活」嘅一個願景：唔洗 config、唔洗 terminal、唔洗上網，雙擊就用到 AI。

但作為一個 daily heavy user，我睇到嘅係：本地 AI 同雲端 AI 唔係零和遊戲。佢哋各自有自己嘅最佳場景。Gemma 4 12B 嘅目標用戶唔係我呢個每日寫幾百行 code 嘅 developer，而係想「安全、簡單、離線」地用 AI 嘅普通用戶。

對我嚟講，DeepSeek V4 嘅極低成本（US$1–3/月）同極快速度，令本地方案嘅「免費」吸引力大打折扣。我要嘅唔係免費，而係 快、準、可以 automation。Gemma 4 12B 喺速度同 capability 上都未達到呢個門檻。

但對於嗰啲得 16GB RAM、想安全離線用 AI、又唔想搞 terminal 嘅人嚟講，Google 呢個組合係 2026 年其中一個最 user-friendly 嘅本地 AI 方案。

最理想嘅 setup？兩者並用，各取所長。雲端做 heavy lifting，本地做敏感任務，語音做 quick capture。呢個先係 AI-Augmented Developer 嘅終極 workflow。

附錄：DeepSeek V4 Flash 最新定價（2026 年 6 月）

以下係從 DeepSeek 官方 API 文檔確認嘅最新定價，每 1M tokens 計：

• Input（Cache Hit）：US$0.0028（幾乎免費，適合 context caching 場景）
• Input（Cache Miss）：US$0.14
• Output：US$0.28
• Context Length：1M tokens（業界最長之一）
• Concurrency Limit：2,500 RPM（足夠 daily heavy use）

相比起 DeepSeek V3 時代（input $0.27, output $1.10），V4 Flash 嘅價格大幅下降咗約 50%。目前 DeepSeek 嘅定價策略明顯係「以量取勝」—— 搶佔 developer 市場，令 API 平到冇人想自己 host 模型。

而 Gemma 4 12B 雖然模型免費，但如果你要同 DeepSeek V4 Flash 嘅能力匹敵，你需要嘅唔係一部 16GB Mac，而係多部 GPU server。呢個成本對比 — US$1/月 vs US$10,000+/月 — 已經說明咗一切。