Reachy Mini 的重點不是便宜；
是把語音 agent 做到 可互動

先講結論：語音機器人的體感瓶頸在 latency，不在模型名氣

Reachy Mini 的故事很容易被 $300 機器人吸走注意力，但影片真正有價值的地方在語音 agent 的系統拆解。機器人到了使用者手上要自己組裝，硬體本身是開放可改的；然而最常被使用的功能不是機械手臂展示，而是人跟機器人講話。

這讓整個問題變成「對話是不是像對話」。如果 TTS 產生一秒音訊要 1.2 秒，機器人就永遠慢半拍；即使 LLM 很聰明，使用者感受到的仍是卡頓。Andres 的優化目標不是單純 benchmark，而是把第一段聲音壓到 200ms 以內，讓互動開始有生命感。

硬體價格讓 Reachy Mini 進入開發者社群；語音延遲決定它能不能成為每天會被使用的 agent 介面。— 本頁依 YouTube metadata 與影片描述整理

瓶頸一：原始 Qwen3-TTS 不是為即時對話準備的

影片描述中的起點很明確：Qwen3-TTS shipped at 0.8x real time，也就是生成一秒音訊需要約 1.2 秒。這對離線音訊可以接受，對面前的機器人就太慢。使用者講完一句話後，機器人如果還在等完整音訊生成，互動節奏會立刻斷掉。

主要問題有三個：沒有 streaming，所以不能邊產生邊播放；每個 audio packet 需要 500 個 autoregressive steps；每一步還有 CPU/GPU round trip。這些疊在一起，讓系統不是單點慢，而是整條生成鏈路都在累積等待。

瓶頸二：dynamic KV cache 擋住 compilation

LLM/TTS 推論優化常見的直覺是「讓 GPU 更忙」，但 dynamic KV cache 讓編譯與 graph capture 變困難。只要 shape 或 memory 行為太動態，系統就很難把熱路徑固定下來，GPU 也更難穩定吃滿。

Andres 的解法是改成 static KV cache，再搭配 CUDA graph captures。這讓同一段推論工作可以被更穩定地捕捉與重放，減少 runtime overhead。結果是 real-time factor 從 0.8x 拉到 5.8x，time to first audio 也壓到 200ms 以下。

語音 stack：ASR、LLM、TTS 要一起看

Reachy Mini 的 voice stack 不是單一模型。它用 Parakeet 做 transcription，每 150ms 跑一次，並把 partial results 在使用者還沒完全講完時就回饋給機器人。中間的 LLM 是 Qwen 3.5 27B，最後才是經過優化的 Qwen3-TTS。

這個設計的重點是 pipeline overlap。ASR 不等整句結束才開始，LLM 不應被不必要的前後處理卡住，TTS 也必須 streaming 或至少很快吐出第一段聲音。對語音 agent 來說，端到端體感比單一模型分數更重要。

當模型變快，infra round trip 會變成新瓶頸

影片描述中特別提到：當 TTS 快到這個程度，infrastructure round trips 已經開始接近 model latency。這是一個很重要的轉折，代表團隊不能只盯著 kernel 或模型推論，還要看 request routing、conversation state、endpoint isolation 與負載均衡。

Hugging Face 的做法是把 LLM endpoints 和 conversation nodes 分開，因為不同使用者「實際講話量」差很多。語音產品的流量不是固定 request per second，而是由人類對話節奏決定；有人一直講，有人只偶爾互動，負載模型必須反映這件事。

實務啟發：做 embodied agent，要把 latency budget 寫清楚