采集器配置与内容填充
用采集规则把外部内容批量导入本站:规则语法、连接配置、任务参数与常见坑。
一、采集器与规则
采集器用于把外部站点的内容批量导入本站,缓解建站初期的内容荒。它按"采集任务"逐条抓取列表页与内容页,再按规则解析成可写入的信息、文章、问答等数据。规则决定了能从页面中提取哪些字段、如何清洗。
二、规则语法
每行写一条规则,程序从第一条向下依次执行。一条规则由操作符、正则表达式和参数组成,各段之间用 @ 分隔;部分操作符不需要参数。常用操作符:
| 操作符 | 作用 | 写法 |
|---|---|---|
| match | 获取内容 | match@正则表达式 |
| replace | 替换内容 | replace@正则表达式@替换内容 |
| join | 连接字符串 | join@前段@后段 |
| matchall | 获取全部匹配,逗号分隔 | matchall@正则表达式 |
| gettab | 取某个标签及内容 | gettab@标签 |
matchall 常用于抓取列表页里的所有链接,或内容页中的全部图片。gettab 可按标签起始串截取整段:写法是 gettab@ 后接目标标签的起始串,例如某标题段的起始串为 h1 class="title",规则写 gettab@h1 class="title" 即可取出包含该标签在内的整段内容。
三、连接本站与载入配置
在采集器中添加一个"网站":填写本站域名(采集到的图片会上传到该站)、数据库地址、库名、账号与密码等。PHP 版的数据库连接参数可在站点的配置文件中查看,库内数据表统一以 kf_ 为前缀。填好后先点"测试数据库链接",通过后再"更新载入网站配置",把本站的信息分类、地区、过滤词等同步进来;分类或地区有变动时需重新载入。
四、任务参数与写入
新建采集任务时需要填写:任务名、目标网站、采集网址(把页码位置替换成占位符)、采集页数、采集规则、默认分类与地区、有效期、是否采集图片、是否自动审核、是否过滤重复、是否对已采集内容自动更新、采集间隔。运行后先"开始采集",查看各任务的成功、重复、失败条数,确认无误再点"写入信息"导入本站。采集图片可叠加水印,用以遮挡来源水印。
五、常见坑与检查
- 采集过快被对方屏蔽——把采集间隔调大,如设为 5 到 10 秒。
- 证书站点抓取失败——多为客户端不支持较新的加密协议,需在系统网络设置中启用对应 TLS 版本。
- 水印没生效——检查水印位置与透明度设置。
- 检查:正式大批量采集前先用少量页数试跑,确认分类、地区、图片与审核状态都符合预期,再放开任务;采集完成后抽查几条信息,确认发布时间分布自然、正文完整。