Open LLM 每日觀察2026-10-22 · 台北
EXECUTIVE ONE-PAGER

先做決策閘門，
再放行 agent

Ollama 10/19 加入 Clef：一個由 Qwen3.8-27B 微調、Apache-2.0 的多模態 decision model。它不以逐 token 生成長答案為目的，而是把文字、JSON 或截圖與型別化問題一起評分。對 Mac Studio 512GB，最值得驗證的是把它置於 RAG、文件擷取與 tool call 前，作為可量測、可拒絕的本機閘門。

4 個關鍵訊號

最近 7 天官方資料優先；近 30 天社群引擎已依具名計畫執行，但公開端點未回傳可核實結果，未把它當作社群共識。

model｜10-19

27B 是「決策器」，不是對話替身

官方稱 Clef 由 Qwen3.8-27B 微調，接收 state 與 typed questions，回傳決策及每個答案的 probability；支援 Jev 與 System One API。

  • 把它設成 classifier / router / policy gate。
  • 與生成模型分工，才能比較成本與正確率。
vision｜10-19

截圖可先判斷，再交給 agent

官方列出 screenshot、receipt、form、photo；這使「是否含敏感畫面、欄位是否齊全、是否應轉人工」能在本機先輸出固定結構與信心值。

  • 保留原圖、decision JSON 與 rule version。
  • 低信心不自動執行工具。
agent｜10-19

tool call moderation 可成為實驗介面

官方明列 agent 工具呼叫前檢查。它不是安全保證；正確用法是以 allowlist、最小權限與人工複核為主，模型只提供可觀測的附加判斷。

  • 先量 false allow / false block。
  • 不讓模型自行擴張權限或網路範圍。

來源視覺證據

官方公告直接說明 27B、多模態輸入、型別化決策與 Apache-2.0；這支持本文將它定位為本機流程閘門，而非單純聊天模型。

Ollama 官方 Clef 公告畫面
Ollama：Clef is available on Ollama's cloud（2026-10-19）重點畫面。公告明確列出 27B、多模態文字／圖片輸入、一次評分多個問題及 Apache-2.0，支持本文的 workflow gate 判斷。

今天的部署判斷

把 Clef 先當「低溫、可測、可拒絕」的前置決策器，不要直接當全能 agent。Mac Studio 512GB 容量足以容納多個對照實驗，但仍須為模型權重、context、影像前處理、向量索引與系統保留餘裕。

先以量化版本建立 8K / 32K context baseline，量測 RSS、TTFT、tok/s、決策 JSON 合法率與 P95；再決定是否讓它常駐。

對 Mac Studio 512GB 的實驗意義

512GB 的優勢是可同時留住本機推論、索引與影像工作流；代價是更需要明確模型分工，不能把所有任務都丟給最大模型。

權重先量測記錄量化檔大小、RSS、warm-up 與 8K/32K context 的 P95。
決策用 schema所有輸出以 JSON schema 驗證；拒絕未解析或低信心結果。
生成模型分工Clef 判斷路由，另一個本機模型負責摘要、程式或回答。
影像留在本機截圖與文件先在本地處理；只保留可追溯的匿名 fixture。

今日可採取的 3 個小實驗

使用固定、去敏 fixture；每次記錄模型 revision、量化、context、磁碟、unified-memory pressure、TTFT、tok/s、P95 與錯誤樣本。

A｜Ollama baseline

做法：以 Clef 的量化版本固定 8K / 32K context，各跑 20 次 schema decision；另以同級生成模型作對照。

驗收：JSON schema 100% 可解析、RSS 與 P95 在預算內；否則降低 context 或改用更小閘門。

B｜Markdown RAG 路由

做法：100 篇 Markdown、50 題標註問題；先用 Clef 判斷「檢索／拒答／需追問」，再交給生成模型回答。

驗收：比較 citation recall、錯引率與無來源回答率；低信心一律不產生結論。

C｜截圖與工具呼叫閘門

做法：30 張去敏 UI 截圖及 40 個 agent tool-call fixture，要求輸出 allow / block / review 與機率。

驗收：量 false allow、false block、review coverage；任何 destructive 或外傳型工具維持硬性人工確認。

風險與注意事項

官方 benchmark 與公告是供應商資料，不等於你的資料、量化、runtime 或 Apple Silicon 上的結果。

機率不是授權

「高信心 allow」不能取代 path allowlist、sandbox、最小權限、rate limit 與人工 review。模型、規則、工具 schema 任一更新都要重新跑 red-team fixture。

開放權重仍要驗證來源

Apache-2.0 是官方公告的授權聲明；下載時仍固定 revision、核對發布者與 hash。量化格式、chat template、vision preprocessing 與 context policy 都會改變結果與記憶體壓力。

來源

2026-10-22 查閱；社群研究僅作輔助，本文的可驗證主張均以官方來源為準。