Doris学习笔记

1. 三种表模型：明细模型、聚合模型、唯一模型

明细模型建表语句：

CREATE TABLE IF NOT EXISTS example_db.detail_log
(`user_id` INT NOT NULL COMMENT "用户ID",`event_time` DATETIME NOT NULL COMMENT "事件时间",`event_type` VARCHAR(32) COMMENT "事件类型",`city` VARCHAR(64) COMMENT "所在城市",`device` VARCHAR(64) COMMENT "设备型号"
)
ENGINE=OLAP
DUPLICATE KEY(`user_id`, `event_time`) -- 指定明细模型（通过DUPLICATE KEY）
COMMENT "OLAP"
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10; -- 分桶

适用场景：日志数据分析、用户行为分析、需要查询原始数据的场景

聚合模型建表语句：

CREATE TABLE IF NOT EXISTS example_db.aggregate_page_view
(`date` DATE NOT NULL COMMENT "日期",`page_id` INT NOT NULL COMMENT "页面ID",`user_id` BIGINT SUM DEFAULT "0" COMMENT "访问用户数，求SUM相当于PV",`city` VARCHAR(64) REPLACE DEFAULT "" COMMENT "城市，取最后一条",`pv` BIGINT SUM DEFAULT "0" COMMENT "总访问次数"
)
ENGINE=OLAP
AGGREGATE KEY(`date`, `page_id`, `user_id`) -- 指定聚合模型
COMMENT "OLAP"
DISTRIBUTED BY HASH(`page_id`) BUCKETS 10;

CREATE TABLE example_db.aggregate_uv
(`date` DATE NOT NULL,`page_id` INT NOT NULL,`user_id_bitmap` BITMAP BITMAP_UNION NOT NULL
)
ENGINE=OLAP
AGGREGATE KEY(`date`, `page_id`)
DISTRIBUTED BY HASH(`page_id`) BUCKETS 10;

　　

数据导入

假设原始数据是这样的：

date       | page_id | user_id
2024-01-01 | 1       | 1001
2024-01-01 | 1       | 1002  
2024-01-01 | 1       | 1001  -- 用户1001重复访问
2024-01-01 | 2       | 1001

导入后，表中存储的是：

date       | page_id | user_id_bitmap (实际存储的是压缩位图)
2024-01-01 | 1       | {1001, 1002}    -- 自动去重，只有2个用户
2024-01-01 | 2       | {1001}          -- 1个用户

查询使用

-- 计算每个页面的独立访客数(UV)
SELECT date,page_id,BITMAP_UNION_COUNT(user_id_bitmap) as uv
FROM example_db.aggregate_uv
GROUP BY date, page_id;-- 结果：
-- date       | page_id | uv
-- 2024-01-01 | 1       | 2
-- 2024-01-01 | 2       | 1-- 计算总的独立访客数
SELECT BITMAP_UNION_COUNT(user_id_bitmap) as total_uv 
FROM example_db.aggregate_uv;-- 计算特定页面的UV
SELECT BITMAP_UNION_COUNT(user_id_bitmap) as uv
FROM example_db.aggregate_uv 
WHERE page_id = 1;

聚合模型适用场景：报表统计、实时看板（sum,max,min 等）

3、唯一模型建表语句：

create table update_orders(`order_id` bigint not null comment "订单ID",`order_status` int not null comment "订单状态",`user_id` int not null comment "用户ID",`amount` int comment "订单金额",`update_time` date not null comment "更新时间" 
)
ENGINE=OLAP
UNIQUE KEY(`order_id`) 
DISTRIBUTED KEY HASH(`order_id`) BUCKETS 10;

适用场景：状态频繁变更的业务表（如订单、用户信息）。