ScrapeGraphAI 是一个「用大模型驱动爬虫」的开源 Python 库与配套云 API，GitHub 星标超过 2.8 万。它把传统爬虫最痛的环节——为每个网站手写解析规则、页面一改版就全崩——交给 LLM 解决：你用自然语言说「从这个页面提取所有产品的名称和价格」，框架自动组织抓取、解析与结构化输出，返回符合你定义 schema 的 JSON。与 Firecrawl 侧重「网页转 LLM 友好的 Markdown」不同，ScrapeGraphAI 的重心是「按意图直接抽取结构化数据」，图状管线（graph pipeline）可组合单页抓取、多页爬取、搜索聚合、音频生成等节点，既能本地跑开源库自带模型自由，也能调用其托管 API 免去反爬与浏览器运维。
快速结论
需要「从各种网站按语义提取结构化字段」且不想为每个站点写解析器的开发者，ScrapeGraphAI 值得一试：开源库免费、意图式提取的开发效率高。要的是稳定的「网页→干净 Markdown」RAG 数据管道则 Firecrawl 更专；大规模商用抓取前务必核算 LLM 调用成本与目标站点合规风险——LLM 爬虫烧 token 的速度比想象中快。
核心功能
- 自然语言定义抓取：一句话描述要什么数据，配合 Pydantic schema 输出结构化 JSON。
- 图状抓取管线：SmartScraperGraph（单页）、SearchGraph（搜索聚合）、多页爬取等预置管线可组合定制。
- 模型后端自由：开源库支持 OpenAI、Anthropic、Gemini、Ollama 本地模型等，成本与隐私可自控。
- 托管 API：云服务处理 JS 渲染、代理轮换与反爬，提供 SmartScraper/SearchScraper 等端点与 SDK。
- 生态集成：官方提供 LangChain、LlamaIndex 集成，可直接作为 Agent 的网页数据工具。
- 动态页面支持：基于 Playwright 渲染 JS 页面，覆盖多数现代前端站点。
适合人群
适合构建数据管线的开发者、需要竞品/价格/线索等结构化外部数据的增长与运营团队、给 Agent 补「读网页拿字段」能力的 AI 应用工程师。不适合完全不写代码的用户（开源库和 API 都面向开发者）；也不适合需要抓登录态、强反爬、超大规模站点的重型采集需求——那是专业采集基础设施的领域，LLM 爬虫在成本和成功率上都不占优。
使用场景
- 竞品监测：定期从竞品官网提取价格、功能、更新记录，输出结构化对比数据。
- 线索采集：从行业目录、企业官网批量提取联系方式与业务字段入 CRM。
- RAG 数据入口：按 schema 抽取而非全文转储，让知识库只进干净的结构化内容。
- Agent 网页工具：作为 LangChain/LlamaIndex 工具节点，让 Agent 按需读取并结构化网页。
- 改版免疫的轻量爬虫：语义提取对页面结构变化的耐受性远高于 CSS 选择器脚本。
价格与版本
| 版本 | 价格判断 | 适合对象 | 说明 |
|---|---|---|---|
| 开源 Python 库 | 免费，自担 LLM 调用成本 | 开发者、本地化需求 | 功能完整，可接 Ollama 做到零 API 费 |
| 云 API Free | 免费额度，以官网为准 | 快速验证 | 免运维体验托管抓取 |
| 云 API 付费档 | 按请求量订阅，以官网为准 | 商业项目 | 含 JS 渲染、代理、更高并发 |
开源库的隐性成本是 LLM token：每页都要过模型，抓取量大时先估算单页成本再决定用云 API、本地模型还是混合方案。
国内访问与使用体验
云 API 为海外服务，大陆直连受网络环境影响，needsVPN 标记为 true 仅为访问元数据。开源库本地运行不受限，搭配 Ollama 或国内 OpenAI 兼容模型即可使用；抓取目标站点的可达性取决于你自己的网络出口。中文页面提取可用，抽取质量随所选模型的中文能力而变。无论抓什么，都需遵守目标网站条款、robots 协议、版权与个人信息保护法规，商用采集尤其要先过合规评估。
优点
- 意图式抓取开发效率极高，告别为每个站点手写和维护选择器。
- 开源 + 云 API 双形态，从原型到生产路径顺滑。
- 模型可自选，本地模型方案能把边际成本压到很低。
- 与 LangChain/LlamaIndex 集成好，天然是 Agent 工具。
- 对页面改版的鲁棒性显著优于传统爬虫脚本。
不足
- 每页过 LLM 的成本结构决定了它不适合海量页面采集。
- 输出质量依赖模型理解，复杂页面偶发漏抽/错抽，需要校验层。
- 强反爬、登录墙、验证码站点仍会失败，云 API 也非万能。
- 抓取合规责任在使用者，商用场景法律边界需自行把关。
替代品对比
| 工具 | 更适合 | 与 ScrapeGraphAI 的区别 |
|---|---|---|
| Firecrawl | 网页→Markdown 的 RAG 数据管道 | Firecrawl 重转换与爬站，结构化抽取为辅；本工具以语义抽取为核心 |
| Jina AI | Reader/Embedding 等 AI 数据基础件 | Jina 提供通用读取与向量能力；本工具专注意图式爬取管线 |
| Tavily | Agent 的搜索式检索 | Tavily 返回搜索结果与摘要；本工具深入具体页面抽字段 |
| Browser Use | 需要交互操作的网页任务 | Browser Use 让 Agent 操作浏览器；本工具面向数据提取本身 |
常见问题 FAQ
ScrapeGraphAI 是免费的吗？
开源库免费（MIT），但 LLM 调用是真实成本；云 API 有免费额度，商用按量付费。
国内能用吗？
开源库本地运行配国内模型可用；官方云 API 大陆直连受网络环境影响。
和 Firecrawl 怎么选？
要干净 Markdown 喂 RAG 选 Firecrawl；要按语义直接出结构化字段选 ScrapeGraphAI；不少团队两者搭配使用。
能抓所有网站吗？
不能。登录墙、验证码、强反爬站点会失败；动态页面依赖 Playwright 渲染，成功率因站而异。
抓来的数据能随便商用吗？
不能。需遵守目标站点条款、robots、版权与隐私法规，跨境数据与个人信息尤其敏感，商用前先做合规评估。
总结
ScrapeGraphAI 把「写爬虫」变成「说需求」，在中小规模、结构化导向的网页数据采集上开发效率优势明显，开源属性又保住了成本与隐私的底线。它与 Firecrawl 一个重抽取、一个重转换，共同构成 Agent/RAG 时代的网页数据入口层；选型时按「要字段还是要文本」这一条即可分流。