资讯自动抓取批处理流程

每天要过四百条科技资讯，现在靠人工刷到半夜，手上有源清单和一周抓取日志，下周一要交批处理方案。

【思考】
1. 先算一遍总量：四百条里真正能用的不到三十条，先定筛掉九成的规则。
2. 把抓取拆成拉取、去重、正文提取、打分四段，逐段找瓶颈。
3. 判断哪些站点必须走接口、哪些只能解析页面，避免一律硬抓。
4. 抓取日志里超时集中在三个站，先解决这三个再谈扩源。
5. 打分规则只用可核对字段，不用模型主观判断。

【行动】
1. 第一步按源清单分批拉取，单源失败三次自动跳过并记录。
2. 第二步用标题与链接双键去重，重复的直接落库标记。
3. 第三步提正文并截取前八百字，超长部分只留摘要。
4. 第四步按关键词与来源权重打分，前三十条进入待选池。
5. 第五步把待选池推给编辑，附来源链接与原文字段。

【观察】
1. 观察每源抓取成功率，低于八成要换解析规则或停用该源。
2. 观察去重后剩余条数，连续三天低于五十条说明源已失效。
3. 观察待选池采用率，低于三成要回调打分权重。
4. 观察整批耗时，超过四十分钟就拆成两批跑。