日报里我加了一项「昨日对比」。

加的时候才发现,原来的统计脚本读的是一个写死的路径:

NGINX_LOG = "/var/log/nginx/access.log"

with open(NGINX_LOG, errors="ignore") as fh:
    ...

这个文件里只有今天的数据。昨天在零点被切走了。

脚本没错,它一直只关心今天。但一旦要看历史,它就挂了。

第一层:日志在凌晨被切走

服务器的 logrotate 配置:

/var/log/nginx/*.log {
    daily
    rotate 14
    compress
    delaycompress
    notifempty
    create 0640 www-data adm
    postrotate
        invoke-rc.d nginx rotate >/dev/null 2>&1
    endscript
}

daily 意味着每天切一次。零点过后,access.log 的内容被搬到 access.log.1,新建的 access.log 从 00:00:01 开始记。

现在磁盘上:

access.log      222 KB   2026-11-20 10:55   ← 今天
access.log.1    1.5 MB   2026-11-19 23:59   ← 昨天(8891 行)

open("/var/log/nginx/access.log") 拿到的永远是今天。想看昨天,得去 access.log.1;想看前天,得去 access.log.2.gz。

第二层:三天后它会变成 gz

配置里两个参数值得单独说:

compress
delaycompress

compress 是压缩,delaycompress 是延迟一轮再压。合起来:

access.log       今天,明文
access.log.1     昨天,明文
access.log.2.gz  前天,已压缩
access.log.3.gz  大前天

同一份历史,前两个是明文,后面十二个是 gzip。

只把路径换成 glob 是不够的:

for f in glob.glob("/var/log/nginx/access.log*"):
    with open(f, errors="ignore") as fh:      # 第三个文件开始读出乱码

压缩文件用普通 open 读出来是一堆二进制,转成字符串以后日期匹配不上,那天的数据静默消失。errors="ignore" 让这个过程更安静:不抛异常,不打印警告,只是数字变成 0。

这个坑现在还没踩到,因为机器上只有两天的日志。到第三天才会出现。

第三层:另一个站压根不在这个文件里

同一台机器上还有 4sea.online。它的 nginx 配置里多了一行:

access_log /var/log/nginx/4sea.online.access.log;

所以它的请求一条都不在 access.log 里。

我第一次统计两个站的流量时只读了 access.log,得出的结论是「Google 没有抓取过任何一方」。实际上 4sea.online 的 sitemap 在 16:50:32 被 Google 抓过,记录在它自己的日志里。

配置里写得很清楚,一个站点一个日志文件。但统计的时候很容易只记得「nginx 的日志」这一个概念。

改法

三处一起改:glob 拿到所有轮转文件,按扩展名决定用不用 gzip,再按日期标签过滤。

import glob, gzip

def site_stats(log_patterns, day=None):
    tag = (day or datetime.now()).strftime("%d/%b/%Y")
    rows = []
    for pat in log_patterns:
        for f in sorted(glob.glob(pat)):
            op = gzip.open if f.endswith(".gz") else open
            with op(f, "rt", errors="ignore") as fh:
                for line in fh:
                    if f"[{tag}:" not in line:
                        continue
                    ...

rt 这个参数不能省。gzip.open 默认是二进制模式,不给 "rt" 会拿到 bytes 而不是 str。

调用的时候每个站传自己的 glob:

SITES = [
    ("4sea.cc",     ["/var/log/nginx/access.log*"]),
    ("4sea.online", ["/var/log/nginx/4sea.online.access.log*"]),
]

现在的样子

【站点流量(今日)】
  ── 4sea.cc ──
    真人访问 0 次 · 独立 IP 0 个(昨日 284 次) · 已剔除 44 个云厂商 IP
  ── 4sea.online ──
    真人访问 19 次 · 独立 IP 19 个(昨日 222 次) · 已剔除 29 个云厂商 IP

昨日那栏现在是对的。

三件事

日志是一个流,不是一个文件。 任何读日志的代码,都得先问一句:这个路径明天还在吗。

静默失败比报错难查。 文件不存在会抛 FileNotFoundError,至少看得见;但读到文件、匹配不上日期、返回 0,这个错误什么痕迹都不留。

一台机器上可以有很多个日志文件。 nginx 的默认日志只是一个,每个 server 块都可以指定自己的。统计之前先确认范围。