TinyFish 介紹：為 AI Agent 設計的免費 Search 與 Fetch 基礎設施
TinyFish 為 AI agent 提供四個 Web API——Search、Fetch、Agent、Browser，其中 Search 與 Fetch 為 $0 永久免費且免信用卡，適合做 RAG 與文件檢索的預設層。
#web-scraping
24 篇文章Groundlane 實戰系列（篇 1）：為什麼 AI 代理需要一個受控的網路存取層
Groundlane 是一個開源 TypeScript 遠端 MCP 伺服器（v0.1.0），以單一穩定合約為 AI 代理提供 web_search、web_fetch、web_extract 三種能力，並把身份驗證、提供者替換與資源限制留在操作者邊界內。
Groundlane 實戰系列（篇 2）：三個 MCP 工具的參數、回傳與錯誤處理
以實際呼叫範例說明 web_search（十適配器、RRF 合併、雙提供者預設）、web_fetch（format/render 策略、finalUrl 來源證據）、web_extract（CSS selector 結構、無 LLM 隱式步驟），並整理回傳結構與錯誤邊界。
Groundlane 實戰系列（篇 3）：與傳統方案的對比 — WebFetch、stealth_fetch、puppeteer 與 requests
從確定性、可替換性、身份邊界、維運成本四維度比較 Groundlane 三工具與傳統本機方案（WebFetch、stealth_fetch、puppeteer、requests），指出各方案適合與不適合的場景。
Hyperbrowser 深入介紹：Agent 的 Browser-as-a-Service 執行層
Hyperbrowser 把 Playwright／Puppeteer 的 Chrome session、proxy、stealth、profile 與錄影包成託管 API；它適合要快速擴充真實瀏覽器工作的 Agent，但 profile 憑證、反爬蟲合規與 proxy 流量成本仍由應用端負責。
Jina Reader 完整指南：把網頁轉成 Agent 可讀 Markdown
Jina Reader 把單一 URL 轉成適合 LLM 使用的 Markdown；真正上線時，還要控制渲染時機、正文範圍、token 上限與失敗回退。
網頁抽取品質實測：Crawl4AI、Firecrawl、Jina Reader 與 Readability 差多少？
抽取工具不能只比 HTTP 200；同一組 20 個 URL 要分別量正文、heading、table、code、link、metadata、雜訊、延遲與成本。本文先公開 corpus、adapter contract 與評分 gate，但因目前缺 Firecrawl credential 與四條同版本 raw run，尚不發佈勝負。
Bright Data 深入介紹：從 Proxy、Web Unlocker 到 Scraping Browser 與 Datasets
Bright Data 把網頁資料取得拆成四層：Proxy 保留控制權，Web Unlocker 回傳已解鎖內容，Browser API 代管互動式瀏覽器，Web Scraper APIs 與 Datasets 直接交付結構化資料。
Scrapy 深入介紹：從 Engine 到 Pipeline 的自架爬蟲架構
Scrapy 把抓取流程拆成 Engine、Scheduler、Downloader、Spider、Item Pipeline 與 Middleware；適合大量、規則明確的 HTTP 頁面，也能自行控制排程、節流、重試與資料落地。
Selenium 深入介紹：從 WebDriver session 到 Grid 的瀏覽器自動化
Selenium 透過標準化 WebDriver session 操作真實瀏覽器，適合跨瀏覽器流程、既有測試資產與遠端 Grid；它能執行 JavaScript 頁面，卻不保證繞過 CAPTCHA 或其他反自動化機制。
Zyte 深入介紹：從 Scrapy 開發、反爬取頁到 Scrapy Cloud
Scrapy 負責爬取流程與資料模型，Zyte API 接手取頁、瀏覽器與反爬細節，Scrapy Cloud 再負責部署、排程和輸出；三者可以分開採用，不是一套綁死的框架。
AgentQL 完整介紹：用語意查詢做網頁擷取與 Playwright 自動化
AgentQL 用接近資料結構的語意查詢取代易碎的 CSS/XPath：`query_data` 回傳結構化資料，`query_elements` 回傳可操作的 Playwright locator。Starter 公開方案列出每月 50 次免費 API 呼叫，但超額、綁卡與遠端瀏覽器時數的實際停止規則仍要在 Billing 頁確認。
Apify 完整介紹：Actor、Task、排程與資料集怎麼組成爬取平台
Apify 不是單一 crawler，而是把爬取程式包成 Actor，再用 Task 固定設定、Schedule 觸發執行、Dataset 交付結果的平台。適合不想自己維護佇列、排程與執行環境的團隊，但 Actor 費用、運算、proxy、儲存與傳輸會共同消耗預付額度。
changedetection.io 完整指南：用 selector、通知與 Browser Steps 監控網頁
changedetection.io 是網頁變更訊號層：先縮小監控範圍、排除雜訊，再把真正的變更通知下游；它不是搜尋 API，也不該取代 crawler。
Crawl4AI 完整介紹：從 Markdown 抓取到結構化資料抽取
Crawl4AI 負責 URL 之後的抓取與抽取：穩定 DOM 先用 JsonCssExtractionStrategy，只有語意判讀或版面不規則時才切 LLMExtractionStrategy。
Firecrawl 完整介紹：Scrape、Crawl、Map 與結構化抽取怎麼選
Firecrawl 把單頁抓取、網站探索、整站爬取與 JSON 抽取包成同一套 API；雲端版省下瀏覽器、proxy 與 worker 維運，自架版則換得基礎設施控制，但預設能力不等同雲端。
免費搜尋、爬取與瀏覽器 API 怎麼選：週期額度、限速、試用與自架成本
免費方案有每日或每月額度、餘額補回、持續限速與一次性試用；有些 API 沒有免費額度，必須預付或按量計費。
Scrapling 完整介紹：從 adaptive selector 到並行 Spider
Scrapling 把 HTTP、Playwright 瀏覽器、CSS/XPath 抽取與 Spider 放進同一套 Python API；adaptive selector 會保存元素特徵，版面改動後再用相似度重新定位，但仍需要驗證輸出。
Tavily Search API 完整指南：搜尋、抽取、Map 與 Crawl
Tavily 把 Search、Extract、Map、Crawl 做成同一組 agent 網路 API；免費方案每月有 1,000 credits，Search 的 basic、fast、ultra-fast 各用 1 credit，advanced 用 2 credits。
Agent 搜尋品質怎麼驗收：Web Retrieval Benchmark 實作
Web retrieval 要測的是完整 task，不是 HTTP 200：固定 30 題、五種失敗層、三條 live channel，同時量答案、引用、freshness、延遲、成本與不必要升級。本文交付可執行 harness 與 gate，但因目前沒有三條 live channel 設定，不提供虛構排名。
AI Agent 上網查資料的完整路由：Search、Fetch、Crawler、Browser 怎麼切換
Agent 上網不該一律開瀏覽器：先依任務分流 Search 或 Fetch，再按狀態碼、內容品質、JS shell、登入與 challenge 訊號逐級升級；每一步都受 retry、budget、快取、去重與來源紀錄約束。
AI 爬蟲工具全景圖：34 個開源專案的五大分類與選型指南
從 MarkItDown (175k stars, MIT) 到 curl_cffi (6k stars)，整理 34 個「爬資料餵 AI」的開源工具。沿五條軸線分類：整站爬取、AI 瀏覽器代理、文件轉檔、智慧擷取、反偵測基建。選型關鍵不是哪個最好，是場景匹配。
AI-Ready Content：把網站變成 AI 可讀的資料來源，完整指南
2025–2026 年，網站不只要給人看，還要給 AI 看。從 llms.txt、Schema Markup、GEO 到 RAG ingestion pipeline，這篇整理了讓你的網站變成 AI 可用資料來源的完整技術地圖。
AI Agent 繞過 Cloudflare 反爬蟲完整指南：從踩坑到自建 MCP Server
標準 Playwright 無法通過 Cloudflare 驗證。playwright-extra + stealth 和 nodriver 都能繞過，最終包成 MCP server 讓 AI agent 自動使用。