Firecrawl 公司研究资料流水线

方案思路

这条流水线把公司研究拆成可审计的步骤：限定页面、抓取、抽取、核验、人工审核、输出。Firecrawl 负责把网页变成可处理的文本，模型负责按字段抽取，人负责判断来源和冲突。它适合目标是几十到几百家公司的批量研究，而不是一次性的单公司查询。

实施要点

先限定页面范围，只抓取公开且与研究问题相关的页面，排除登录区、个人资料页和不相关目录。抓取时保存 URL、时间和状态，模型抽取时保留原文片段或来源链接。低置信度、冲突和敏感字段进入人工队列，不要直接写入客户主数据。对关键事实，用官方注册库或第二个独立来源核对。

资源如何协作

Firecrawl 是抓取层；Anthropic API 是抽取层；Google Sheets 是台账；Apify 可补充特定站点采集；Browser Use 或 Playwright 可替代需要交互的场景；Common Crawl 适用于历史语料而不是实时查询。自托管 Firecrawl 时还要承担部署、升级和安全加固。

适用条件与不适用情形

适合技术团队、目标公司页面结构相对稳定、研究字段明确的情况。若目标网站禁止抓取或需要登录，不应使用。若只需要少量公司研究，手工浏览器加表格更简单。对于必须实时的注册状态或财务数据，应直接使用官方 API，而不是抓取新闻或官网。

风险与人工审核

抓取和模型抽取都可能产生错误。网页可能是营销文案，模型可能遗漏否定条件或把旧信息当新信息。抓取还要遵守 robots、服务条款、版权和访问频率限制，不能绕过登录或付费墙。所有关键事实应由人核对来源；所有个人信息应限制收集范围；所有对外输出应保留来源与日期。