抓取工具

使用说明

本工具是一个浏览器风格的抓取工作台:左边是历史与结果列表,中间是地址栏与阅读视图, 所有抓取都在运行服务的那台机器上完成,不经过第三方服务器。

一、四种抓取模式

模式输入适用场景
抓取一个网址单篇文章、单个商品页、任意公开页面
递归一个种子网址 + 深度/页数整站备份、专栏批量收集
搜索关键词先检索再批量转正文
批量每行一个网址已有 URL 清单,一次跑完

二、阅读视图与导出

每条结果都提供四种查看方式:阅读(去广告的正文)、源码 HTML、Markdown、原始 JSON。 顶部导出菜单支持 Markdown / JSON / CSV / HTML / TXT,也可以点「保存」直接写入 output/webapp 目录。

三、历史与公开快照

每次任务结束都会自动写入本地历史,可在右侧抽屉里检索、重开或删除。 如果想分享给别人看,在结果上点「公开分享」,系统会生成一个静态快照页 /s/<slug>;随时可以撤销,撤销后该地址立即失效并从站点地图移除。

四、离线使用

没有外网时,可以用「本机文件」直接读取本地 HTML / Markdown / TXT / JSON / CSV, 解析与导出逻辑与联网模式完全一致。远程访问者不能浏览这台机器的磁盘,只能上传自己的文件。

五、异常与限制

  • 网址无效:会提示正确写法,例如 https://example.com。
  • 请求超时:单页默认 30 秒,超时后可重试或降低页数。
  • 反爬与限流:遇到 403 / 429 会提示降低频率;不会伪装或绕过。
  • 登录墙与验证码:不处理,也不会尝试破解。
  • robots.txt:递归模式严格按规则跳过禁止路径。

六、合规声明

仅用于学习、研究与个人资料整理。抓取前请确认目标站点的服务条款与 robots.txt, 不要抓取个人隐私数据,不要对目标站点造成压力,转载内容请保留原文出处。