采集器配置与内容填充

分类:功能模块 · 更新于 2026-11-05 · 约 1046 字

用采集规则把外部内容批量导入本站:规则语法、连接配置、任务参数与常见坑。

一、采集器与规则

采集器用于把外部站点的内容批量导入本站,缓解建站初期的内容荒。它按"采集任务"逐条抓取列表页与内容页,再按规则解析成可写入的信息、文章、问答等数据。规则决定了能从页面中提取哪些字段、如何清洗。

二、规则语法

每行写一条规则,程序从第一条向下依次执行。一条规则由操作符、正则表达式和参数组成,各段之间用 @ 分隔;部分操作符不需要参数。常用操作符:

操作符作用写法
match获取内容match@正则表达式
replace替换内容replace@正则表达式@替换内容
join连接字符串join@前段@后段
matchall获取全部匹配,逗号分隔matchall@正则表达式
gettab取某个标签及内容gettab@标签

matchall 常用于抓取列表页里的所有链接,或内容页中的全部图片。gettab 可按标签起始串截取整段:写法是 gettab@ 后接目标标签的起始串,例如某标题段的起始串为 h1 class="title",规则写 gettab@h1 class="title" 即可取出包含该标签在内的整段内容。

三、连接本站与载入配置

在采集器中添加一个"网站":填写本站域名(采集到的图片会上传到该站)、数据库地址、库名、账号与密码等。PHP 版的数据库连接参数可在站点的配置文件中查看,库内数据表统一以 kf_ 为前缀。填好后先点"测试数据库链接",通过后再"更新载入网站配置",把本站的信息分类、地区、过滤词等同步进来;分类或地区有变动时需重新载入。

四、任务参数与写入

新建采集任务时需要填写:任务名、目标网站、采集网址(把页码位置替换成占位符)、采集页数、采集规则、默认分类与地区、有效期、是否采集图片、是否自动审核、是否过滤重复、是否对已采集内容自动更新、采集间隔。运行后先"开始采集",查看各任务的成功、重复、失败条数,确认无误再点"写入信息"导入本站。采集图片可叠加水印,用以遮挡来源水印。

五、常见坑与检查

  1. 采集过快被对方屏蔽——把采集间隔调大,如设为 5 到 10 秒。
  2. 证书站点抓取失败——多为客户端不支持较新的加密协议,需在系统网络设置中启用对应 TLS 版本。
  3. 水印没生效——检查水印位置与透明度设置。
  4. 检查:正式大批量采集前先用少量页数试跑,确认分类、地区、图片与审核状态都符合预期,再放开任务;采集完成后抽查几条信息,确认发布时间分布自然、正文完整。

相关教程

文档对不上实际界面?可在常见问题中查找排查步骤,或按「安装部署」中的环境要求核对版本。