资讯详情

1. 背景

在大材料应用中，Spark 以内存计算、高性能著称。但在实际方案中，假如任务数据量大、逻辑艰难，Spark 依然可能出现OOM、Shuffle 过慢、数据倾斜等性能问题。
因此，掌握 Spark 的内存管理、Shuffle 优化与参数调优方法，是大数据开发工程师必备技能。

---

2. 内存管理优化

Spark 的执行内存核心分为存储(Storage) 与 执行(Execution)两部分。合理配置和使用内存，可以实用提升性能。

2.1 内存结构

• Storage Memory：缓存 RDD、DataFrame、广播变量等。
• Execution Memory：用于 Shuffle、Join、Sort 等计算。
• Unified Memory Management：Spark 1.6 之后默认采用统一内存模型，存储与执行内存可动态借用。

2.2 内存优化技巧

1. 缓存策略

   • 对多次复用的 RDD 或 DataFrame 使用 cache(