-- 优化方法-- common join -- 正常关联逻辑-- mapjoin --- 通过广播小表到内存中进行优化-- bucket map join -- 通过分桶 广播大表到内存中进行优化-- sort merge bucket map join -- 通过分桶 成 倍数的关系 进行优化-- 聚合 数据倾斜 --解决方案一：类似于分组聚合 key值分配不均匀，在map端聚合 解决数据倾斜问题 set hive.map.aggr = true; -- 开启map端聚合 set hive.map.agg.hash.min.reduction=0.5; -- 聚合前后条数比较 set hive.groupby.mapaggr.checkinterval=100000;-- 聚合条数-- 方案二： -- skew-groupby 启用分组聚合数据倾斜优化 set hive.groupby.skewindata = true; -- 启动两个mr任务，将按照随机数进行发生到reduce 进行聚合 在 发到 第二哥Mr进行 分组聚合-- join表间关联 数据倾斜 --方案一 使用 map join 解决数据倾斜 大表 小表关联 合适场景 --方案二 skew join 为倾斜的 大 key 单独 使用 一个 map 进行 处理 大表和大表关联 -- 处理一对多 数据倾斜 -- 自动检测 大的倾斜 key 自动走 map join 的任务方式进行关联 set hive.optimize.skewjoin = true; set hive.skewjoin.key = 100000; -- 自动检测 行数超过 10W 就会自动 启动一个 mr 任务处理 -- 方案三 手动调整sql 大表和大表关联 其中有一个表数据 key 倾斜-- 把关联字段 使倾斜的表 对应字段 用子查询 增加 随机 key 进行打散 -- concat(key_col,'_',cast(rand()*n as int)) -- 均匀打撒 -- 对应字段唯一的表，不倾斜的表进行 扩容 -- concat(key_col,'_',1) -- union all concat(key_col,'_',2) -- union all concat(key_col,'_',n)