使用说明
本工具是一个浏览器风格的抓取工作台:左边是历史与结果列表,中间是地址栏与阅读视图, 所有抓取都在运行服务的那台机器上完成,不经过第三方服务器。
一、四种抓取模式
| 模式 | 输入 | 适用场景 |
|---|---|---|
| 抓取 | 一个网址 | 单篇文章、单个商品页、任意公开页面 |
| 递归 | 一个种子网址 + 深度/页数 | 整站备份、专栏批量收集 |
| 搜索 | 关键词 | 先检索再批量转正文 |
| 批量 | 每行一个网址 | 已有 URL 清单,一次跑完 |
二、阅读视图与导出
每条结果都提供四种查看方式:阅读(去广告的正文)、源码 HTML、Markdown、原始 JSON。
顶部导出菜单支持 Markdown / JSON / CSV / HTML / TXT,也可以点「保存」直接写入
output/webapp 目录。
三、历史与公开快照
每次任务结束都会自动写入本地历史,可在右侧抽屉里检索、重开或删除。
如果想分享给别人看,在结果上点「公开分享」,系统会生成一个静态快照页
/s/<slug>;随时可以撤销,撤销后该地址立即失效并从站点地图移除。
四、离线使用
没有外网时,可以用「本机文件」直接读取本地 HTML / Markdown / TXT / JSON / CSV, 解析与导出逻辑与联网模式完全一致。远程访问者不能浏览这台机器的磁盘,只能上传自己的文件。
五、异常与限制
- 网址无效:会提示正确写法,例如
https://example.com。 - 请求超时:单页默认 30 秒,超时后可重试或降低页数。
- 反爬与限流:遇到 403 / 429 会提示降低频率;不会伪装或绕过。
- 登录墙与验证码:不处理,也不会尝试破解。
- robots.txt:递归模式严格按规则跳过禁止路径。
六、合规声明
仅用于学习、研究与个人资料整理。抓取前请确认目标站点的服务条款与 robots.txt, 不要抓取个人隐私数据,不要对目标站点造成压力,转载内容请保留原文出处。