抓取工具

网页抓取工具:输入网址,直接拿到干净正文

开箱即用的网页抓取工具:输入网址即可抓取正文、批量导出 Markdown/JSON/CSV,支持递归爬取、站内搜索、本机文件解析与抓取历史回看。

能做什么

单页抓取

粘贴任意网址,自动识别正文、标题、作者与发布时间,剔除导航与广告。

递归爬取

从一个种子页出发,按深度与页数上限抓取同站页面,先遵守 robots.txt 再抓取。

站内搜索

输入关键词检索,再把搜索结果页批量转成结构化正文,一次汇总。

批量导入

几十个网址一次粘贴,逐条执行并显示成功、失败与耗时。

多格式导出

Markdown、JSON、CSV、HTML、纯文本五种格式,一键下载或保存到本地目录。

本机文件解析

离线场景下直接打开本机的 HTML、Markdown、TXT、JSON、CSV 并统一成同一种结构。

三步开始

  1. 打开 工作台,在地址栏输入网址或关键词。
  2. 按回车,右侧实时显示进度、日志与结果列表。
  3. 点任意条目进入阅读视图,或用顶部导出按钮保存为 Markdown / JSON / CSV。

公开快照

工作台里的每次抓取都可以选择「生成公开快照」,生成一个静态可读的分享页,例如 /s/example-com-8f2a1c。这类页面有独立标题、摘要与结构化数据,可以被搜索引擎收录, 也是这个站点最主要的可检索内容来源。查看已公开的快照 →

常见问题

抓取失败、只拿到空内容怎么办?

常见原因有三类:目标站点要求登录、页面内容由 JavaScript 异步渲染、或对方服务器限流。 工具会把这类情况翻译成明确提示,并给出手动替代路径(例如改用浏览器模式或复制正文)。

支持需要登录才能看的页面吗?

不支持。工具不会绕过登录墙、验证码或付费墙,也不会伪造身份,只抓取公开可访问的内容。

抓取的数据会上传到哪里?

结果只保存在运行服务的这台机器上(data/history 与 output 目录)。 只有你主动生成的「公开快照」才会出现在这个网站上。

可以自己部署一份吗?

可以。项目自带内嵌运行时与一键启动脚本,也提供 Docker 与反向代理配置, 部署后通过环境变量设置站点域名即可启用本文这套 SEO 页面。