日报里我加了一项「昨日对比」。
加的时候才发现,原来的统计脚本读的是一个写死的路径:
NGINX_LOG = "/var/log/nginx/access.log"
with open(NGINX_LOG, errors="ignore") as fh:
...
这个文件里只有今天的数据。昨天在零点被切走了。
脚本没错,它一直只关心今天。但一旦要看历史,它就挂了。
第一层:日志在凌晨被切走
服务器的 logrotate 配置:
/var/log/nginx/*.log {
daily
rotate 14
compress
delaycompress
notifempty
create 0640 www-data adm
postrotate
invoke-rc.d nginx rotate >/dev/null 2>&1
endscript
}
daily 意味着每天切一次。零点过后,access.log 的内容被搬到 access.log.1,新建的 access.log 从 00:00:01 开始记。
现在磁盘上:
access.log 222 KB 2026-11-20 10:55 ← 今天
access.log.1 1.5 MB 2026-11-19 23:59 ← 昨天(8891 行)
open("/var/log/nginx/access.log") 拿到的永远是今天。想看昨天,得去 access.log.1;想看前天,得去 access.log.2.gz。
第二层:三天后它会变成 gz
配置里两个参数值得单独说:
compress
delaycompress
compress 是压缩,delaycompress 是延迟一轮再压。合起来:
access.log 今天,明文
access.log.1 昨天,明文
access.log.2.gz 前天,已压缩
access.log.3.gz 大前天
同一份历史,前两个是明文,后面十二个是 gzip。
只把路径换成 glob 是不够的:
for f in glob.glob("/var/log/nginx/access.log*"):
with open(f, errors="ignore") as fh: # 第三个文件开始读出乱码
压缩文件用普通 open 读出来是一堆二进制,转成字符串以后日期匹配不上,那天的数据静默消失。errors="ignore" 让这个过程更安静:不抛异常,不打印警告,只是数字变成 0。
这个坑现在还没踩到,因为机器上只有两天的日志。到第三天才会出现。
第三层:另一个站压根不在这个文件里
同一台机器上还有 4sea.online。它的 nginx 配置里多了一行:
access_log /var/log/nginx/4sea.online.access.log;
所以它的请求一条都不在 access.log 里。
我第一次统计两个站的流量时只读了 access.log,得出的结论是「Google 没有抓取过任何一方」。实际上 4sea.online 的 sitemap 在 16:50:32 被 Google 抓过,记录在它自己的日志里。
配置里写得很清楚,一个站点一个日志文件。但统计的时候很容易只记得「nginx 的日志」这一个概念。
改法
三处一起改:glob 拿到所有轮转文件,按扩展名决定用不用 gzip,再按日期标签过滤。
import glob, gzip
def site_stats(log_patterns, day=None):
tag = (day or datetime.now()).strftime("%d/%b/%Y")
rows = []
for pat in log_patterns:
for f in sorted(glob.glob(pat)):
op = gzip.open if f.endswith(".gz") else open
with op(f, "rt", errors="ignore") as fh:
for line in fh:
if f"[{tag}:" not in line:
continue
...
rt 这个参数不能省。gzip.open 默认是二进制模式,不给 "rt" 会拿到 bytes 而不是 str。
调用的时候每个站传自己的 glob:
SITES = [
("4sea.cc", ["/var/log/nginx/access.log*"]),
("4sea.online", ["/var/log/nginx/4sea.online.access.log*"]),
]
现在的样子
【站点流量(今日)】
── 4sea.cc ──
真人访问 0 次 · 独立 IP 0 个(昨日 284 次) · 已剔除 44 个云厂商 IP
── 4sea.online ──
真人访问 19 次 · 独立 IP 19 个(昨日 222 次) · 已剔除 29 个云厂商 IP
昨日那栏现在是对的。
三件事
日志是一个流,不是一个文件。 任何读日志的代码,都得先问一句:这个路径明天还在吗。
静默失败比报错难查。 文件不存在会抛 FileNotFoundError,至少看得见;但读到文件、匹配不上日期、返回 0,这个错误什么痕迹都不留。
一台机器上可以有很多个日志文件。 nginx 的默认日志只是一个,每个 server 块都可以指定自己的。统计之前先确认范围。