状态
-
总览
-
已采集页面
-
已索引页面
-
索引词条
-
种子站点
抓取状态
已抓取
-
已索引
-
失败
-
队列
-
开始时间
-
结束时间
-
最近日志
站点管理(抓取种子)
添加种子站点
抓取时将从这些站点开始,自动跟随页面内链接扩散抓取。支持任何公开网站,不写协议会自动补全 https://。
种子列表
| ID | URL | 备注 | 状态 | 添加时间 | 连通性 | 操作 |
|---|
每页 条
抓取控制
启动抓取
深度=1 只抓种子页面;深度=3 表示种子页 → 链接页 → 链接页。总并发 = 线程数 × 每线程并发(在「设置」里调整),多线程多站点同时抓取。
定时抓取(计划任务,支持多条并行)
| ID | 名称 | 频率 | 时长 | 上限 | 模式 | 上次执行 | 状态 | 操作 |
|---|
每个定时任务独立运行、互不干扰,到点自动启动,可多个任务同时并行;运行日志可查看每次执行记录。
实时进度
状态
-
线程
-
已抓取
-
已索引
-
失败
-
待抓
-
抓取中
-
完成
-
页面管理
「清空页面数据」只删采集的页面/索引/队列,保留种子站点与广告配置。「删除选中」/「整域删除」会连同索引一并清理。
| ID | 标题 | URL | 深度 | 词数 | 抓取时间 | 操作 |
|---|
索引与队列
索引词条
排序:
| ID | 词条 | 文档数 | 词频 | 操作 |
|---|
抓取队列
| ID | URL | 域名 | 深度 | 状态 | 优先级 | 入队时间 | 操作 |
|---|
监控中心
-
CPU 使用率
-
内存
-
磁盘
-
网络(↓ / ↑)
本机硬件
CPU 使用率
内存
磁盘
蜘蛛抓取状态
状态
-
线程
-
已抓取
-
已索引
-
失败
-
待抓
-
访问监控(DOS 检测)
| 来源 IP | 60秒请求数 | 状态 |
|---|
热词与推送
网络热榜(热搜词)
| # | 热词 | 热度 |
|---|
关键词搜索采集(任意关键词)
每词条数
用搜索引擎搜关键词,提取结果链接自动入队抓取,可在「一键抓取待抓」执行。
🔥 热搜优先采集(新内容优先抓)
发现热榜新词(24h 内未采过)自动用 Bing 挖链接,以高权重 100 入队,爬虫优先抓取;新内容/热搜内容先于普通链接被采集。间隔最小 10 分钟,防止频繁请求源站。
定时热词采集与推送
推送到搜索引擎
采集热词后自动生成热词内容页
/hot/词,百度/谷歌可通过 sitemap 收录;推送需公网可访问的站点地址 + 百度站长平台 token(ziyuan.baidu.com 普通收录接口)。sitemap: 运行日志
自动每 3 秒刷新
广告系统(凤巢式 CPC 竞价)
-
总收入(元)
-
总点击
-
总展示
-
点击率 CTR
收入趋势(近7天)
广告主管理
| ID | 名称 | 余额(元) | 广告数 | 展示 | 点击 | 消费(元) | 状态 | 操作 |
|---|
落地页管理
| ID | 名称 | URL | 广告主 | 备注 | 状态 | 操作 |
|---|
广告管理(关键词出价投放)
落地页可选库里的现成页面(自动填 URL),也可手动输入;计费:广义第二价格(GSP)= 下一名折算价 + 0.01。
| ID | 标题 | 广告主 | 关键词 | 出价 | 日预算 | 展示 | 点击 | CTR | 消费 | 状态 | 操作 |
|---|
点击流水(计费记录)
| 时间 | 广告 | 搜索词 | 扣费(元) | IP |
|---|
用户管理
用户搜索按次扣费(价格在设置→开放 API 设置旁配置);可手动调整余额作为人工充值/补偿。
| ID | 用户名 | 邮箱 | 余额(元) | 搜索次数 | 收藏 | Key | 注册时间 | 操作 |
|---|
充值订单
| ID | 订单号 | 用户 | 金额(元) | 状态 | 时间 |
|---|
API Key 管理(全部用户)
管理员可查看/停用/删除任意用户的 API Key,操作即时生效。
| ID | 用户 | 应用名 | API Key | 日配额 | 今日用量 | 总用量 | 状态 | 创建时间 | 操作 |
|---|
短链管理
| 短链 | 目标 URL | 来源搜索词 | 点击 | 创建时间 | 操作 |
|---|
每页 条
设置
抓取参数
总并发 = 线程数 × 每线程并发。例如 4 线程 × 4 并发 = 16 路同时抓取,多网站齐头并进。
短网址
网站设置
对外域名用于 sitemap/热词页/推送链接;统计代码会注入搜索页和热词页。
知识付费设置(用户搜索扣费)
登录用户每次搜索从余额扣「搜索价格」;余额不足提示充值。游客搜索免费不扣费。充值当前为模拟支付(下单即到账),接真实支付时替换后端确认逻辑。
网盘设置
用户中心「网盘」tab 上传/管理文件;可生成外链分享
/d/令牌,任何人可下载,取消分享即失效。上传安全限制(后缀)
🛡️ 安全防护:① 危险后缀直接拒绝(exe/bat/php/js/asp 等可执行或脚本类型);② 声明为图片但文件头不匹配的伪装文件拦截;③ 其他类型内容含脚本代码特征(<?php/<script 等)拦截。上传的文件存为随机名,不以原名暴露,下载强制 attachment。
抓取黑名单(禁止抓取某类网址)
命中规则的网址不会被入队/抓取(子串匹配,即时生效)。
| ID | 规则 | 备注 | 添加时间 | 操作 |
|---|
robots 例外(无视 robots.txt 限制抓取)
命中例外的站点即使 robots.txt 禁止也会完整抓取。robots 禁止且未设例外的站:种子首页照抓,内页自动跳过。
| ID | 规则 | 备注 | 添加时间 | 操作 |
|---|
极限词过滤(广告法合规)
命中极限词的搜索结果自动处理,防止因极限词引发的投诉/网监问题。已内置 50+ 常见广告法极限词。
| ID | 极限词 | 替换为 | 操作 |
|---|