AI Engineer onepage/ Web access
Rafael Levi, Bright Data · 15:48
這支影片在講：Agent 最大的謊言是「我搜過網路」
Rafael Levi 的核心警告很直接：agent 不是每次都真的查到網頁。它可能被 CAPTCHA、反爬、假頁或空頁擋住，然後為了完成任務，改用過期訓練資料、猜測結果或假引用回答。
Published: 2026-06-17Video ID: btxGmN8RvNU
01 / 問題
失敗常常不可見
Agent 送出請求後可能拿到 CAPTCHA、空頁或假資料，但它不一定回報「我被擋了」，而是繼續拼出一個答案。
02 / 反轉
搜尋不等於可用 web access
預設模型、簡單 fetch 或搜尋摘要不一定能穿過 LinkedIn、Instagram、Amazon、TikTok 這類高反爬網站。
03 / 解法
把瀏覽能力做成工具層
Demo 用 Bright Data Web MCP 對照無 MCP 與有 MCP 的結果，讓 agent 使用搜尋、markdown scrape、遠端瀏覽器與 CAPTCHA handling。
Watch for this
影片最值得抓的四個訊號
Web blocked
20%
講者引用 Cloudflare 對 AI crawling 的封鎖比例，提醒預設 fetch 不是完整 web access。
Bad citations
60%
他提到近期 ChatGPT 引用連結常失效，假 citation 是不可見失敗的表徵。
Demo set
5 sites
Rightmove、LinkedIn、Instagram、Amazon、TikTok，被拿來測反爬與即時資料取得。
Tool surface
66+
Web MCP 展示多種工具，但 Q&A 也提醒 production agent 不該一次載入所有工具。
Failure chain
這個謊言怎麼發生：三段式失敗鏈
1
網站把 agent 當成 bot 擋下來
CAPTCHA、anti-bot、JS rendering、資料中心 IP 或 AI Labyrinth 這類機制，讓 agent 拿不到原本要讀的公開頁面。問題不只是不回資料，也可能回誤導資料。
2
Agent 沒有把阻擋回報成失敗
講者反覆強調「沒有 error、沒有 warning、只有錯答案」。Agent 可能看到空頁、卡在 CAPTCHA 或資料不足，卻不把這件事清楚交代給使用者。
3
模型用舊知識、猜測或假引用補洞
最危險的情境是模型把訓練資料當作即時資料。講者用「2024 訓練資料回答 2026 現況」說明，這會把看似可信的回答變成錯誤決策輸入。
Demo map
Bright Data Web MCP demo 在對照什麼
同一組 prompt，比無 MCP 與有 MCP講者安排五個任務，先用沒有瀏覽工具的模型跑，再用 Web MCP 跑，讓模型自己比較 failure / success。
工具不是只有搜尋他展示 search engine、markdown scrape、batch search、pre-built APIs、remote scraping browser；重點是讓 agent 真正拿到可處理內容。
遠端瀏覽器處理反爬與 CAPTCHAWeb MCP 的瀏覽器基礎設施主打 fingerprint、CAPTCHA handling、可平行開多個 session，避免每次都卡在網頁入口。
公開資料邊界被明確拉出來Q&A 中講者強調只處理 publicly available data，不碰 login 後資料，因為帳號條款與資料授權會改變法律風險。
Practical takeaways
做 web agent 前，先檢查這五點
不要只問 agent「有沒有搜尋」，要記錄它讀到了什麼。保存 URL、HTTP 狀態、截圖或 markdown 摘要，才能區分真資料、空頁、CAPTCHA 與過期記憶。
把「被擋住」設計成一等公民狀態。工具回傳要能明確說 blocked、captcha、render failed、no public data，而不是讓模型自己猜。
工具清單要過濾，不要把 66 個工具全塞進 context。Q&A 中講者也說，如果只需要 markdown scrape 與 search，就只載入兩個工具，避免 irrelevant tool flooding。
不要用 LLM 逐頁解析大量 HTML。講者建議讓 LLM 建 parser，再由程式跑資料擷取；他聲稱這能在大批頁面場景省下約 99% token。
公開資料、登入資料與第三方條款要分開設計。能在瀏覽器公開看到，不等於可以繞過登入或條款；資料來源、存取方式、使用目的都要留下可審核邊界。
Source video