尧图网站建设 尧图网络
  • 首页
  • 关于我们
  • 服务项目
  • 案例展示
  • 建站流程
  • 资讯中心
  • 联系我们
首页/资讯中心/详情

ClickHouse 用 Rust 重写 WAL - G 推 WAL - RUS:内存消耗降超 70%,兼容现有部署

ClickHouse 用 Rust 重写 WAL - G 推 WAL - RUS:内存消耗降超 70%,兼容现有部署
📅 发布时间:2026/6/29 5:02:34

问题所在

Postgres 备份在 ClickHouse Cloud 中至关重要,WAL 归档是保持数据持久性和可恢复性的关键。WAL - G 一直是可靠工具,但将 Postgres 部署到资源更紧张环境时,遇到内存使用可预测性问题。WAL - G 用 Go 语言编写,其垃圾回收运行时使内存使用难以预测,包括常驻内存和虚拟内存。Go 的运行时管理内存池,可能预留比实际使用量多得多的虚拟内存,内存占用随工作负载变化波动,呈“锯齿”模式,这让运维人员难以预测峰值内存消耗和有效分配资源,通常需预留更多内存,影响 Postgres 本身资源分配。

解决方案:引入 WAL - RUS

开发 WAL - RUS 并非寻求新功能,而是为在保持核心功能和兼容性的同时,提供更可预测的资源使用情况。WAL - RUS 是用 Rust 实现的 Postgres 备份和 WAL 归档工具,具有可预测的资源使用,使用有界工作线程池和精心控制的并发,使内存消耗更易理解;专为连续 WAL 归档设计,采用 WAL - G 的守护进程架构,维护持久对象存储连接;针对流式工作负载优化,减少不必要的缓冲和数据复制;与 WAL - G 兼容,使用相同的 `WALG_` 配置变量,可互相读取归档,便于现有部署迁移。

基准测试

为评估 WAL - RUS,构建了可重现的基准测试,在持续的、WAL 密集型 PostgreSQL 工作负载下比较 WAL - RUS、WAL - G 和 pgBackRest。内存使用方面,WAL - G 峰值虚拟内存接近 2.8 GB,WAL - RUS 始终低于 1 GB,减少超 70%,且 WAL - RUS 内存使用稳定,pgBackRest 对内存分配控制严格。WAL 归档吞吐量上,WAL - RUS 和 WAL - G 能跟上工作负载生成速度,pgBackRest 在 WAL 活动高峰期积压较大。CPU 利用率方面,三者相当,主要用于计算 LZ4 压缩。

总结与结论

WAL - RUS 开发旨在以更小、更可预测的资源占用提供可靠的 PostgreSQL 备份和 WAL 归档。结合 Rust 的显式内存管理与守护进程流式架构,在实现与 WAL - G 相当的归档吞吐量时,显著降低内存消耗。WAL - RUS 与现有 WAL - G 归档和配置完全兼容,还支持使用 Postgres 17 的 WAL 摘要进行增量备份,正在努力将此功能上游集成到 WAL - G。未来计划将 WAL - RUS 作为 ClickHouse Cloud 中托管 Postgres 服务的默认备份和 WAL 归档机制,该项目开源,欢迎反馈、测试和贡献。此外,ClickHouse + Postgres 成为可扩展应用程序的统一数据栈,托管 Postgres 服务在 ClickHouse Cloud 可用,可立即注册试用。

相关新闻

  • Notepad--:跨平台文本编辑器的完整中文解决方案指南
  • 2026封神!5款AI论文平台实测,告别卡壳症,初稿思路秒打通!
  • 引产算生过一胎吗?引产、人流、药流区别

最新新闻

  • ESP32 SSD1306 OLED驱动实战:构建现代物联网显示界面的完整指南
  • C# Selenium自动化测试环境搭建:五大核心问题与解决方案详解
  • 免费解锁iPhone激活锁:applera1n终极绕过方案完整指南
  • SVM底层逻辑:从最大间隔到软间隔的工程权衡
  • 什么是假设检验?它在数据分析中的应用有哪些?
  • 微信小程序逆向实战:从抓包到签名破解的完整技术解析

日新闻

  • ENVI5.3.1实战:基于Landsat 8影像的区域无缝镶嵌与精准裁剪
  • 3步完成HS2-HF Patch安装:新手快速打造完美HoneySelect2体验
  • 微信好友检测终极指南:3分钟发现谁已悄悄删除你

周新闻

  • Windows字体自定义终极方案:No!! MeiryoUI完全指南
  • Deepin Boot Maker:告别命令行,3分钟制作Linux启动盘的智能解决方案
  • Plain Craft Launcher 2:重新定义你的Minecraft游戏体验

月新闻

  • 【总结】入门篇:50句话让你记住架构核心概念
  • WeChatMsg技术方案解析:实现Mac微信数据自主管理的完整解决方案
  • WeChatMsg:革新性微信数据备份方案,打造你的专属数字记忆库

关于尧图

  • 公司简介
  • 团队介绍
  • 企业文化
  • 荣誉资质

服务项目

  • 定制开发
  • 电商建站
  • UI 设计
  • 运维服务

快速链接

  • 案例展示
  • 建站流程
  • 常见问题
  • 资讯中心

联系方式

  • 📍北京市朝阳区互联网产业园 A 座 10 层
  • 📞400-888-8888
  • ✉️contact@rkmt.cn
  • 🕐周一至周日 9:00-21:00

© 2024 北京尧图网络科技有限公司 版权所有 | 京 ICP 备 XXXXXXXX 号