日志清洗脚本与正则校验
输入原始日志样例 → 产出清洗脚本与正则测试集
适用场景
- 日志清洗
- 正则校验
- 结构化输出
PROMPT
运维要给三个月前的日志做结构化,负责人手上有 200 行日志样例和想要的字段清单,明天要交脚本。 【指令】 1. 写一个清洗脚本,把非结构化日志转成六字段的表格。 2. 每条正则都要配测试样例,能自证匹配正确。 3. 解析失败的行单独落盘,不静默丢弃。 【上下文】 1. 日志来自 nginx 与 php-fpm 两个来源,格式不同。 2. 时间字段有时区差异,统一转成东八区。 3. 单文件约 500 万行,脚本要能流式处理不占内存。 【输入数据】 1. nginx 行样例:IP、时间、方法、路径、状态码、耗时六段。 2. fpm 行样例:时间、进程号、级别、消息正文。 3. 字段清单:时间、来源、IP、路径、状态、耗时。 【输出要求】 1. 给脚本代码,按行读取,输出 csv。 2. 给正则测试集,每条正则三个正例两个反例。 3. 给一份失败样例统计,列出最常见的三种解析失败原因。
复制后直接粘贴到模型使用