PostgreSQL 备份与恢复实战:从 pg_dump 到时间点恢复的生产级方案
一、数据库备份最容易被忽略的问题,不是「有没有做备份」,而是「备份能不能恢复、恢复要多久、以及恢复后的数据对不对」
很多团队做数据库备份的方式是「写个 cron job,每天凌晨跑pg_dump,把 SQL 文件传到 S3」。这个方案能解决「数据完全丢失」的最坏情况,但它在生产环境里有两个重要缺陷:恢复时间太长(从 SQL 文件恢复几百万行数据可能需要几小时)、以及不能恢复到「误操作前的那一秒」(只能恢复到每天凌晨备份的那个时间点)。
生产级的 PostgreSQL 备份方案,通常需要结合三种机制:逻辑备份(pg_dump/pg_restore,适合小数据库或者做跨版本迁移)、物理备份(文件系统级别的备份,适合大数据库的高性能恢复)、以及 WAL(Write-Ahead Log)归档(支持时间点恢复,能把数据库恢复到任意一秒的状态)。
但备份方案的选择,必须在「恢复 RTO(Recovery Time Objective)」、「存储成本」和「运维复杂度」之间做权衡。一个每天有 1 万活跃用户、数据量在 50GB 以内的项目,用pg_dump+ S3 备份可能完全够用;一个每天有几百万笔交易、数据量在 TB 级别的金融系统,就需要物理备份 + WAL 归档的生产级方案。
无论哪种方案,「定期演练恢复」都是不可省略的环节。备份不做恢复演练,等于没有备份——你不知道备份文件是否损坏、不知道恢复要多久、也不知道恢复后的数据是否完整。
二、PostgreSQL 备份方案的技术对比:逻辑备份、物理备份与 WAL 归档
flowchart TD A[PostgreSQL 备份需求] --> B{数据量?} B -- "< 100GB" --> C[逻辑备份: pg_dump] B -- "> 100GB" --> D[物理备份: pg_basebackup] A --> E{需要时间点恢复?} E -- 是 --> F[WAL 归档 + 物理备份] E -- 否 --> C C --> G[优点: 简单/跨版本] C --> H[缺点: 恢复慢/不支持 PITR] D --> I[优点: 恢复快/支持 PITR] D --> J[缺点: 复杂/版本绑定] F --> K[可恢复到任意一秒]逻辑备份(pg_dump)是最简单的备份方式。它把数据库里的数据导出成 SQL 文件(或者自定义格式),恢复时用psql或者pg_restore导入。逻辑备份的优点是简单、跨版本(备份文件可以在不同 PostgreSQL 版本之间恢复)、以及可以只备份部分表或者部分数据库。缺点也很明显:备份和恢复都慢(需要重建索引、执行所有 INSERT 语句),并且不支持时间点恢复。
一个生产可用的pg_dump备份脚本:
#!/bin/bash # postgres-backup.sh TIMESTAMP=$(date +%Y%m%d-%H%M%S) BACKUP_DIR="/backups" S3_BUCKET="s3://my-app-backups/postgres" # 用自定义格式备份(-Fc),支持并行恢复和选择性恢复 pg_dump -Fc -v -h $DB_HOST -U $DB_USER $DB_NAME > $BACKUP_DIR/backup-$TIMESTAMP.dump # 压缩(自定义格式已经压缩,但可以多压一点) # 上传到 S3 aws s3 cp $BACKUP_DIR/backup-$TIMESTAMP.dump $S3_BUCKET/backup-$TIMESTAMP.dump # 删除 7 天前的本地备份 find $BACKUP_DIR -name "backup-*.dump" -mtime +7 -delete # 删除 S3 上 30 天前的备份(用 S3 生命周期规则也可以)物理备份(pg_basebackup)是文件系统级别的备份。它直接复制数据库的数据文件,恢复时只需要把文件复制回来,然后启动 PostgreSQL——不需要执行 SQL,恢复速度快得多。物理备份的缺点是对 PostgreSQL 版本有要求(备份和恢复的 PostgreSQL 主版本必须相同),以及需要更多的存储空间(因为它备份整个数据目录,包括索引)。
WAL 归档是实现时间点恢复(PITR,Point-In-Time Recovery)的关键。PostgreSQL 在每次数据文件变更之前,都会先写 WAL(Write-Ahead Log)。如果你把 WAL 文件归档到安全的地方,就能在恢复时「先恢复物理备份,然后重放 WAL 文件到指定的时间点」——相当于让数据库「穿越」到过去的任意一秒。
三、WAL 归档与时间点恢复:配置、监控与生产实践
配置 WAL 归档需要修改postgresql.conf(或者 PostgreSQL 12+ 的postgresql.auto.conf):
# 开启 WAL 归档 archive_mode = on # 归档命令:把 WAL 文件复制到安全的地方(如 S3) archive_command = 'aws s3 cp %p s3://my-app-wal-archive/%f' # 每次检查点后强制归档(可选,确保 WAL 及时归档) archive_timeout = 300 # 5 分钟配置完成后,重启 PostgreSQL。之后的每个 WAL 文件在写满后,都会自动执行archive_command复制到 S3。
做时间点恢复的步骤是:
- 停止 PostgreSQL
- 把最近一次物理备份的数据文件恢复到数据目录
- 在数据目录里创建
recovery.signal文件(PostgreSQL 12+ 用这个文件触发恢复模式) - 在
postgresql.auto.conf里设置恢复目标:restore_command = 'aws s3 cp s3://my-app-wal-archive/%f %p' recovery_target_time = '2025-07-10 14:30:00' - 启动 PostgreSQL,它会自动重放 WAL 到指定时间点,然后打开数据库
这个流程的 RTO 取决于物理备份的恢复时间(通常是分钟级)和需要重放的 WAL 文件数量(如果需要重放好几天的 WAL,恢复时间可能是小时级)。生产环境中,应该定期做「恢复演练」,测量 RTO 并确保流程可靠。
四、备份监控与告警:确保备份真的在正常工作
备份最危险的状态是「以为有备份,实际上备份已经坏了好几个月」。生产环境必须监控以下备份健康指标:
- 最近一次备份的时间:如果超过预期间隔(如 25 小时没备份),触发告警
- 备份文件大小:如果备份文件大小突然变小(或者变成 0),说明备份失败了
- 备份文件完整性:恢复备份到测试环境,验证数据是否完整(不需要完全恢复,只需要验证关键表行数)
- WAL 归档滞后:如果 WAL 文件堆积在本地没有成功归档,说明归档命令失败了
以下是一个简单的备份监控脚本:
#!/bin/bash # check-backup.sh - 检查最近 24 小时是否有成功备份 S3_BUCKET="s3://my-app-backups/postgres" THRESHOLD_HOURS=24 # 检查 S3 上最近备份的时间 LATEST_BACKUP=$(aws s3 ls $S3_BUCKET | sort | tail -1 | awk '{print $1 " " $2}') LATEST_TIMESTAMP=$(date -d "$LATEST_BACKUP" +%s) NOW=$(date +%s) HOURS_SINCE=$(( (NOW - LATEST_TIMESTAMP) / 3600 )) if [ $HOURS_SINCE -gt $THRESHOLD_HOURS ]; then echo "告警: 已经超过 $HOURS_SINCE 小时没有成功备份" # 发送告警(如 curl 调用 Slack Webhook) exit 1 else echo "备份正常: 最近备份在 $HOURS_SINCE 小时前" fi除了监控,还应该设置「备份保留策略」。S3 的「生命周期规则」可以自动删除或者转移到冷存储(如 S3 Glacier):热备份(最近 7 天)留在 S3 Standard,温备份(7-30 天)转到 S3 Intelligent-Tiering,冷备份(30 天以上)转到 S3 Glacier Deep Archive。这样既能保证恢复性能,又能控制存储成本。
五、总结
PostgreSQL 备份方案的设计,是在恢复速度、存储成本、运维复杂度和恢复粒度之间做权衡。pg_dump逻辑备份简单直接,适合小数据库;物理备份恢复快,适合大数据库;WAL 归档 + 物理备份支持时间点恢复,是生产级方案的核心。无论用哪种方案,「定期演练恢复」和「监控备份健康状态」都是不可省略的工程纪律。备份的价值不在于「做了」,而在于「需要时能恢复、恢复的数据是对的、恢复的时间在可接受范围内」。这三个条件,都必须通过演练和监控来验证,而不是靠假设。