AGENT · AI 工程
一个“会学习”的新闻爬虫是怎样工作的
用一个陌生新闻网站的完整处理过程,讲清 Crawler Agent 如何生成、验证并复用抓取规则。
本文目录
打开两家新闻网站,我们看到的东西很相似:最上方是标题,下面可能有作者和发布时间,再往下是图片与正文。但在网页代码里,它们的位置和写法可能完全不同。一家把正文放在 <article> 标签中,另一家把内容藏在一段页面数据里;一家直接输出完整文章,另一家要等浏览器执行 JavaScript 后才显示列表。
这正是新闻爬虫难以长期维护的原因。人看网页依靠的是含义,普通程序依靠的却是明确规则。只要网站换了页面结构,原来正确的规则就可能找不到标题,甚至误把导航栏和推荐新闻当成正文。
Crawler Agent 尝试解决这个问题。它不是让人工提前写好世界上所有新闻网站的规则,也不是每抓一篇文章都请大模型重新阅读网页。它采用了一种介于两者之间的办法:第一次遇到陌生网站时,让 Agent 编写并验证规则;以后遇到同类页面,直接重复使用已经通过验证的脚本。
这里的 Agent,可以理解为一个能够阅读网页、修改文件和运行工具的 AI 助手。它参与的是“第一次认识网站”的过程,而不是每一次普通抓取。
为什么新闻网站不能使用同一套抓取规则
假设我们要抓取下面两篇文章:
https://daily.example.com/news/city-opens-new-library-1024.html
https://world.example.org/articles/2026/09/climate-report
第一家网站可能使用 h1.headline 保存标题,用 .story-body p 保存正文。第二家网站则可能没有这些标签,而是把标题和正文放在一种叫 JSON-LD 的结构化数据中。即使两篇文章看起来几乎一样,程序也不能保证用同一组位置规则取得内容。
一种做法是让开发者逐站编写爬虫。这样得到的脚本通常快、便宜、行为明确,但网站一多,开发和维护工作会不断增长。每发现一种新页面,就要有人研究网页、写代码、准备测试,再发布上线。
另一种做法是把每个页面都交给大模型临场理解。它更加灵活,却有三个明显问题:模型调用需要时间和费用;同一页面多次处理的答案可能略有差别;出了错误,也很难像普通代码一样准确复现和检查。
Crawler Agent 选择把两种方法组合起来。Agent 只负责探索陌生页面,并把探索结果写成普通 TypeScript(一种编程语言)脚本。正式抓取仍由行为明确的程序完成。一次成功的模型调用,不只产生一篇文章,还留下一个可以继续使用的网站能力。
“会学习”到底是什么意思
标题中的“学习”需要先解释清楚。Crawler Agent 不会因为看过一篇文章就重新训练一个模型,也不会像人一样理解整个新闻机构。它做的事情更接近“建立并保存一份工作说明书”。
可以把整个过程想象成培训一位新同事:
- Agent 第一次打开网站,研究标题、正文和时间分别在哪里。
- 它把观察结果写成一份可执行的说明书,也就是站点脚本。
- 验证程序拿真实网页考它,确认说明书确实能得到合格结果。
- 说明书通过考试后进入正式资料库,后续任务直接照着执行。
因此,这里的“学会一个网站”其实包含三个动作:生成规则、验证规则、保存规则。缺少任何一步都不完整。只生成不验证,错误脚本可能进入生产环境;只验证不保存,下次还要重新付出同样的探索成本;只保存不维护,网站改版后旧规则会不断产生坏数据。
用一句话概括:它不是让模型记住网页,而是把模型这一次解决问题的结果变成普通软件资产。
抓取新闻其实是两个任务
“新闻抓取”听起来像一个动作,实际可以拆成两个差别很大的任务。
第一个任务是寻找文章。输入通常是栏目页、搜索页或滚动时间线,例如某家媒体的“国际新闻”栏目;输出是一批位于指定时间范围内的文章网址。项目把负责这件事的脚本叫作网址查找脚本,英文名称是 Discoverer。
第二个任务是读取文章。输入是一篇确定的文章页面;输出是统一格式的数据,包括标题、作者、发布时间、正文、图片和原始网址。项目把这种脚本叫作正文提取脚本,英文名称是 Extractor。
这两个任务需要的能力并不相同。正文提取脚本只需要分析系统已经下载好的 HTML,也就是网页源代码,不必自己访问网络。网址查找脚本为了翻页或调用网站自己的列表接口,可以获得一个受限制的网络请求工具。遇到必须滚动或点击才加载内容的页面,它还可以使用受控浏览器,但不能直接操作浏览器的所有底层能力。
拆开后有三个好处。第一,每个脚本只解决一个问题,更容易编写和测试。第二,正文提取脚本不需要网络权限,出错或越权的范围更小。第三,失败更容易定位:没有找到网址,就检查列表页规则;找到网址却没有正文,就检查文章页规则。
系统如何处理一个已经认识的网站
先看最常见也最快的情况。假设系统已经认识 daily.example.com,现在收到这个网址:
https://daily.example.com/news/city-opens-new-library-1024.html?utm_source=newsletter
它会依次完成六件事。
- 整理网址。 系统统一协议和主机名,删除页面片段以及
utm_source等广告跟踪参数。整理后的网址更适合比较和去重。 - 查找网址规则。 系统读取一张“网址与脚本对照表”,从上到下寻找能够匹配当前网址的规则。
- 确定站点脚本。 规则命中后,系统得到应该执行的脚本路径,以及这个网站自己的并发限制等设置。
- 下载并解析网页。 受控请求工具获取 HTML,再把 HTML 和一个简单的查询工具交给正文提取脚本。
- 检查输出格式。 标题、正文、网址和抓取时间等必填内容不能是空值,图片等可选字段也必须符合约定形式。
- 保存结果与现场。 文章结果、执行时间、网页响应状态、最终跳转网址和 HTML 快照都会保存下来,方便以后排查。
项目把那张对照表称为 Registry,也就是“规则登记表”;把其中负责判断网址类别的单条规则称为 Matcher,也就是“匹配规则”。匹配规则通常是一段网址模式:它应该覆盖同类文章,却不能把网站首页、栏目页和搜索页也误认为文章页。
截至 2026 年 9 月 2 日,仓库中登记了 115 个新闻来源、261 条文章匹配规则和 112 条列表页规则。文章规则多于来源数并不奇怪,因为同一家媒体可能同时拥有普通新闻、专题、直播和评论等多种页面结构。
只要能够命中现有规则,整个过程都不需要调用 Agent。它的成本和普通爬虫接近:下载一次页面,运行一次脚本,再检查和保存结果。
为什么请求不会立即返回文章
下载网页有时只需几百毫秒,但浏览器加载、失败重试和 Agent 生成可能持续几十秒甚至更久。如果接口一直保持连接,调用者很难判断任务是在正常工作、已经卡住,还是网络中断了。
因此,/crawl 和 /discover 使用后台任务。这个过程很像在服务大厅取号:
提交请求 → 立即得到任务编号 → 后台处理 → 使用编号查询结果
任务有四种简单状态:
queued:已经取号,正在等待。running:后台已经开始执行。succeeded:执行成功,可以读取文章或网址列表。failed:执行失败,可以读取错误原因和诊断信息。
这些状态和最终结果保存在 SQLite 中。SQLite 是一种把数据库存放在单个本地文件中的工具,不需要单独部署数据库服务器,很适合这种本地服务。即使提交请求的一方已经断开连接,后台仍能继续工作,调用者之后也能凭任务编号找回结果。
异步任务还把接口层和实际抓取分开了。接口只负责检查输入、创建任务和返回编号;后台调度器负责安排执行顺序;抓取脚本只负责处理页面。每一层的职责更单一,发生问题时也更容易知道应该检查哪里。
如何避免重复抓取和压垮网站
假设两个用户几乎同时提交了同一篇文章。如果系统毫无判断地创建两次抓取,就会重复下载网页、重复执行脚本,也给目标网站增加没有必要的访问。
Crawler Agent 会先整理网址,再为正在进行的任务生成一个识别键。正文抓取使用“规则编号加整理后的网址”判断是否相同;列表发现还会把起止时间加入判断。如果发现相同任务正在等待或执行,后来的请求会共享已经存在的任务,而不是再启动一份工作。
系统还设置了两层并发限制。全局限制回答“整个服务最多同时执行多少个任务”,避免本机的处理器、内存和网络被占满;单网站限制回答“同一家网站最多同时执行多少个任务”,避免在短时间内向一个来源发出过多请求。
例如,服务可以同时抓取五家不同媒体,却规定某家响应较慢的网站一次只能处理一篇。调度器会暂时跳过已经达到上限的网站,先运行其他可执行任务。这样既提高整体利用率,也体现了对新闻网站的访问克制。
去重和限流看似只是性能优化,实际也是可靠性的基础。重复任务越少,失败记录越清楚;访问节奏越稳定,遇到临时封禁和超时的概率也越低。
第一次遇到陌生网站时发生什么
现在来到全文最关键的部分。假设用户提交了一个完全陌生的网址:
https://newspaper.example.net/story/new-railway-plan-8842
系统整理网址后,没有任何现有规则能够匹配它。默认情况下,任务会明确返回“没有找到可用脚本”,而不是悄悄调用模型。只有服务端开启了自动生成,并且这次请求明确传入 allowAgent: true,系统才会开始建立新能力。
完整过程分为十步:
- 确认规则缺失。 系统先查现有登记表,只有确实没有命中才考虑创建新脚本。
- 创建独立工作目录。 系统基于当前代码建立一份临时副本,让 Agent 在副本中工作。
- 准备任务说明。 说明中包含目标网址、脚本必须返回的字段、允许修改的文件和最多可以修改几轮。
- 让 Agent 研究页面。 Agent 可以访问目标网页,寻找结构化数据、标题位置、正文区域和稳定的网址形式。
- 生成所需文件。 它编写正文提取脚本、脚本说明文档、网址匹配规则,以及可选的网页测试样本。
- 检查修改范围。 系统读取实际文件变化。只要 Agent 修改了白名单以外的文件,这轮生成就不能继续发布。
- 检查网址规则。 新规则必须至少能够匹配目标文章,否则脚本根本不会被调用。
- 进行真实试运行。 系统使用与正式抓取相同的下载、执行和结果检查流程运行新脚本。
- 把失败原因交回 Agent。 如果失败,Agent 会看到错误信息、页面状态和已经提取到的正文长度,并在同一次任务上下文中继续修改。
- 验证成功后发布。 只有通过真实试运行的文件才会从临时目录复制到正式脚本目录和规则登记表。
这个流程中最重要的分工是:Agent 负责提出解决方案,普通程序负责验收解决方案。 Agent 在最终回答里说“已经完成”并不算成功;文件范围正确、网址能够命中、脚本实际运行通过,才算成功。
这种设计把模型擅长的探索能力与软件擅长的精确检查结合起来。模型不需要独自承担最后判断,系统也不需要提前知道每一家网站的结构。
怎样判断 Agent 生成的脚本真的可用
TypeScript 可以在写代码时检查函数名称和字段类型,却不能证明脚本面对真实网页一定能找到正文。一个没有语法错误的脚本,仍可能把页面菜单当作文章,或者只得到一个空标题。因此,发布前必须真正运行它。
当前项目的统一格式检查会确认文章是一个对象,网址、标题、正文、抓取时间等必填字段是非空字符串,作者和标签必须是字符串数组,可信度必须处于 0 到 1 之间。图片也会被整理和检查。至于正文是否过短、是否混入菜单和广告,则需要站点脚本在发现异常时主动报告错误,并由运行记录帮助判断。
每次试运行都会留下诊断材料,包括:
- 请求的原始网址和最终跳转网址;
- 网页响应状态与耗时;
- 当时下载到的 HTML 快照;
- 脚本使用的规则编号和文件路径;
- 错误消息、错误类型与相关细节;
- Agent 每一轮尝试的事件和最终回复。
这些记录的价值在失败时尤其明显。只告诉 Agent“没有成功,请重试”,它只能重新猜测;告诉它“标题存在,但正文为空,最终网址发生了跳转,页面快照保存在这里”,它才有明确的修改方向。
验证过程因此不是简单地重复生成,而是一个逐渐缩小问题范围的循环:生成、运行、观察结果、提供反馈、再次修改。最大反馈轮数则防止一个始终无法解决的站点无限占用资源。
能抓这一篇,不代表能抓下一篇
自动生成规则时有一个非常典型的陷阱:Agent 可能直接把当前文章的完整网址写进规则。这样的规则能通过当前试运行,却不能处理同网站的下一篇文章。
假设同一家网站有两篇新闻:
https://daily.example.com/news/new-library-1024.html
https://daily.example.com/news/new-bridge-2048.html
下面这条规则只认识第一篇:
^https://daily.example.com/news/new-library-1024.html$
更有复用价值的规则应该表达共同形式,而不是具体标题:
^https://daily.example.com/news/文章名称-数字编号.html$
真实规则会使用正则表达式来表示“可变化的文章名称”和“数字编号”。初学者不需要掌握正则细节,只需要理解它的目标:保留稳定的 /news/ 路径和 .html 结尾,同时允许中间的文章名称与编号变化。
规则太窄,只能抓当前页面;规则太宽,又可能把 /news/ 栏目首页、搜索页和专题页都交给正文脚本。好的规则必须位于两者之间:覆盖同一类文章,不覆盖明显不同的页面。
仓库中已经存在一些同域名、名称后带短哈希的组件。这说明自动积累能力还有一个长期问题:系统如果只会新增,不会判断已有脚本能否扩展,就可能为相近页面不断创建小脚本。规则越来越多后,匹配顺序和维护成本都会变复杂。后续更理想的方向,是先比较同域名的既有能力,再决定复用、扩展、合并还是新建。
系统如何限制自动生成代码
让 Agent 自动写代码,并不意味着应该允许它直接修改正式系统。Crawler Agent 先创建一个由 Git 提供的独立工作目录,也叫 worktree。可以把它理解成一份带完整版本记录的“草稿本”:内容来自当前项目,但 Agent 的修改暂时不会碰到主工作目录。
生成内容要经过三道检查。
第一道是文件白名单。正文提取任务通常只允许修改本站脚本、说明文档、规则登记表和对应测试样本。系统检查的是 Git 实际记录到的文件变化,而不只是 Agent 是否在文字回复中遵守要求。
第二道是真实试运行。脚本必须在项目自己的脚本执行器(runner)中接受下载、超时、结果检查和记录保存。能够通过代码检查但无法处理网页的脚本仍然不能发布。
第三道是选择性发布。系统只复制已经确认过的允许文件。临时目录中的其他内容不会自动进入正式项目。
网络访问也有边界。主页面请求限制协议、域名、超时、重试次数和最大响应体;列表页的额外请求只能访问同一网站,并受最大请求数、页数和总时间约束;浏览器操作也限制滚动、点击和等待次数。
不过,这些措施还不等于强安全沙箱。当前站点脚本仍由主进程动态加载,等待超时只能让任务返回失败,不能可靠停止一段永不结束的同步代码。对网址经过域名解析后的真实地址,以及页面多次跳转中的每一步,网络策略也还有加强空间。
如果未来要执行来源完全不可信的第三方脚本,更稳妥的做法是把它们放进独立进程或容器,并限制 CPU、内存、文件和网络。独立工作目录主要防止“改错文件”,独立执行环境解决的才是“代码运行时越权”。
网站改版后怎么办
脚本今天验证成功,不代表永远有效。新闻网站可能更换内容管理系统、修改页面标签,或者把原本直接输出的正文改成浏览器加载。昨天还能找到 .story-body 的脚本,今天可能只得到空内容。
系统不能因为一次失败就立即移除规则。网络抖动、目标网站短暂维护和访问超时都不说明脚本本身已经坏了。因此,Crawler Agent 只累计能够明确归因给组件的失败,例如找不到标题、找不到正文、内容受到明显污染或输出格式不合格。网络、HTTP 状态、访问限制和未知错误都不进入退役计数。
正文提取脚本还会在当前累计轮次中按整理后的文章网址去重,防止同一个坏页面被反复提交后误伤整条规则。一次成功会把当前版本的失败次数清零;无法归因的失败既不增加,也不清零。两类组件默认在累计到三次可信失败时退役。
退役时,系统只从规则登记表中移除对应的规则版本,让新任务不再使用它。脚本、README 和样本仍然留在原目录,不会移动到 deprecated,这样既能保留排障证据,也不会破坏仍在共享这份脚本的其他规则。
退役本身不会立即启动自动修复。后续请求无法匹配规则,并且请求与系统都允许使用 Agent 时,才会进入现有生成流程。新实现使用未占用目录、获得独立版本,并重新接受真实试运行和发布检查。更完整的计数、版本与中断恢复过程见《一个抓取规则失效后,系统如何让它安全退役》。
News Watch 如何让抓取持续运行
/crawl 解决的是“给定一篇文章,能不能读取正文”,/discover 解决的是“给定一个栏目和时间范围,能不能找到文章网址”。如果要每天监控几十家媒体,还需要有人定时调用这两个接口、处理重复链接和重试失败任务。
News Watch 就是建立在抓取服务之上的持续运行工具。它为每个新闻来源保存检查间隔、上次运行时间和下一次运行时间,并按照以下顺序工作:
- 到达计划时间后,计算这一次需要检查的起止时间。
- 调用网址发现接口,取得时间范围内的候选文章。
- 整理每个网址,并查询它是否已经出现过。
- 为真正的新网址创建记录,再按设置的并发数抓取正文。
- 把成功文章保存为 JSON 输出。
- 为失败记录安排延迟重试,避免立即反复请求。
- 抓取完成后,把结果交给用户配置的 Hook。
Hook 可以理解为“成功后继续执行的自定义动作”。例如,把文章送入摘要程序、通知服务或另一个数据处理流程。Crawler Agent 不需要提前知道所有下游用途,只负责在结果准备好后发出明确事件。
News Watch 还特别注意时间窗口。一次网址发现成功后,它会推进来源的上次检查时间;后续某篇正文抓取失败,不会让下一轮重新扫描越来越大的时间范围。失败文章由单独的重试队列负责,这样“发现新内容”和“补抓旧失败”不会互相干扰。
因此,抓取内核回答的是“这个网址能不能处理”,News Watch 回答的是“如何长期、增量、无重复地处理许多新闻来源”。前者提供能力,后者把能力组织成日常工作流。
这套设计真正值得借鉴的地方
Crawler Agent 的代码使用了多种开发工具,但最值得借鉴的并不是某一个工具,而是它处理“不确定性”的方式。
第一,不要让模型重复解决已经解决过的问题。 模型适合研究陌生页面;已有脚本能稳定完成的任务,就继续交给脚本。
第二,把一次成功变成可以保存的文件。 站点脚本、网址规则、说明文档和测试样本都能进入版本记录,也能被人阅读、修改和回退。
第三,不相信口头上的“完成”,只相信实际运行结果。 Agent 负责生成候选方案,真实网页和验证程序决定它是否合格。
第四,限制自动生成代码的活动范围。 独立工作目录、文件白名单、受控网络和选择性发布分别解决不同层面的风险。
第五,保存失败现场。 页面快照、最终网址、错误信息和每轮尝试让下一次修改有证据可查,而不是从头猜测。
第六,为组件设计完整生命周期。 自动创建只是开始,系统还需要知道组件何时失败、何时合并、何时修复以及何时退出正式路径。
所以,一个“会学习”的新闻爬虫并不神秘。第一次遇到新网站时,它借助 Agent 写出并验证一份工作说明书;下一次遇到相同类型的页面时,它使用已经保存的说明书快速完成任务;网站变化后,它根据连续失败停止使用旧说明书,并留下修复所需的现场。
它看起来像在不断学习,本质上是在做一件非常朴素的事:让每一次成功都成为下一次工作的起点。