1. 背景
在大材料应用中，Spark 以内存计算、高性能著称。但在实际方案中，假如任务数据量大、逻辑艰难，Spark 依然可能出现OOM、Shuffle 过慢、数据倾斜等性能问题。
因此，掌握 Spark 的内存管理、Shuffle 优化与参数调优方法，是大数据开发工程师必备技能。
2. 内存管理优化
Spark 的执行内存核心分为存储(Storage) 与 执行(Execution)两部分。合理配置和使用内存，可以实用提升性能。
2.1 内存结构
- Storage Memory：缓存 RDD、DataFrame、广播变量等。
- Execution Memory：用于 Shuffle、Join、Sort 等计算。
- Unified Memory Management：Spark 1.6 之后默认采用统一内存模型，存储与执行内存可动态借用。
2.2 内存优化技巧
缓存策略
- 对多次复用的 RDD 或 DataFrame 使用
cache(
- 对多次复用的 RDD 或 DataFrame 使用