Fetcher MCP Server:基于MCP/A2A协议的JS渲染网页抓取服务,免Docker免反爬,一键获取结构化数据
摘要:想用 AI Agent 做竞品监控,却被网页 JS 渲染卡住?写个 Puppeteer 服务要配 Docker、调内存、绕反爬、还得手写 JSON Schema?Fetcher MCP Server 已上线生产环境,专治这个最痛的「网页数据入口」问题。 它不是另一个爬虫库,而是首个通过 MCP/A2A 协议暴露标准能力的 JavaScript 渲染抓取服务。你不用起浏览器、不碰 Playw...
想用 AI Agent 做竞品监控,却被网页 JS 渲染卡住?写个 Puppeteer 服务要配 Docker、调内存、绕反爬、还得手写 JSON Schema?Fetcher MCP Server 已上线生产环境,专治这个最痛的「网页数据入口」问题。
它不是另一个爬虫库,而是首个通过 MCP/A2A 协议暴露标准能力的 JavaScript 渲染抓取服务。你不用起浏览器、不碰 Playwright API、不写 `page.waitForSelector()` —— 只需发一条 MCP `fetch` 请求,就能拿到结构化结果:
{
"url": "https://shop.example.com/product/123",
"js_enabled": true,
"output_format": "json",
"schema": {
"title": "string",
"price": "number",
"in_stock": "boolean",
"review_score": "float"}
}
Fetcher 自动执行 JS、等待水印加载、剔除广告和导航栏;内置 LLM 增强的 DOM 理解模块,能识别语义区块——比如把「¥299.00(券后¥249)」拆成 `price: 299, discount_price: 249`;最终按你定义的 schema 输出 JSON 或 Markdown。Windsurf 企业版已深度集成:Agent 调用 `mcp://fetcher/v1/fetch`,零配置接入,平均响应 2.3s(实测 10k+ 页面压测)。
真实赚钱场景已跑通:
- **跨境电商选品 Agent**:每天凌晨自动抓 300 个 Amazon / 速卖通新品页,提取标题、价格、Review 数、上架时间,过滤出「7 天内上架 + 评分 ≥ 4.6 + 评论增长 > 50 条」商品,推送到飞书群。深圳某团队用这套流程,3 个月跑出 17 款爆品,单月 Shopify GMV 提升 $214,000。
- **本地生活舆情聚合**:接入大众点评、小红书、美团商户页,提取用户高频抱怨点(如「上菜慢」「WiFi 密码错误」),聚类生成《区域餐饮服务短板报告》,卖给本地生活 SaaS 公司,单价 $800/份,月均交付 22 份。
👉 <a href="https://idsoo.com/go/binance.html" rel="nofollow noopener" target="_blank">Binance</a> · <a href="https://idsoo.com/go/okx.html" rel="nofollow noopener" target="_blank">OKX</a> · <a href="https://idsoo.com/go/gate.html" rel="nofollow noopener" target="_blank">Gate.io</a> · <a href="https://idsoo.com/go/htx.html" rel="nofollow noopener" target="_blank">HTX</a> · <a href="https://idsoo.com/go/bitget.html" rel="nofollow noopener" target="_blank">Bitget</a>
部署只要两步:
1. `docker run -d --name fetcher -p 3001:3001 yitb/fetcher-mcp:latest`
2. 在你的 Agent 的 MCP 客户端里注册服务地址:`{ "name": "fetcher", "endpoint": "http://localhost:3001/mcp" }`
它不是玩具:支持 Basic Auth、请求限流、失败重试策略、Chrome 进程隔离、日志直传 Sentry。Windsurf 企业客户稳定调用超 470 万次/月。
即插即用(MCP 标准协议,任何 A2A 兼容 Agent 都能调)、协议兼容(Claude Tool Use / OpenClaw / LangChain MCP Adapter 无缝对接)、企业就绪(TLS + RBAC + Prometheus metrics)。你缺的从来不是想法,是能立刻塞进工作流里的、可靠的网页数据管道。
**下一步行动**:
👉 访问 [yitb.com/fetcher](https://yitb.com/fetcher) 获取 Docker 镜像和 MCP 接口文档
👉 用 `curl -X POST http://localhost:3001/mcp/fetch -d '{"url":"https://example.com","output_format":"json"}'` 跑通第一条请求
👉 把 fetcher 加入你的 Agent 工具列表,今天就让它帮你抓第一个竞品价签。