数仓建模与 Lakehouse：从分层架构到表格式

0. 元信息

• 主题路径：docs/topics/data-engineering-basics/subtopics/warehouse-modeling-and-lakehouse/README.md
• 父主题：data-engineering-basics
• 适合对象：会写 SQL、用过 PostgreSQL/BigQuery、希望从”几张宽表”过渡到”分层数仓 + Lakehouse”的工程师
• 建议周期：2～2.5 周，每周 10～14 小时
• 前置知识：SQL、Python、Docker；建议先完成父主题第 2 阶段
• 最终目标：能设计 ODS/DWD/DWS/ADS 四层数仓 schema，用维度建模写事实表与维度表，在 Iceberg/Delta/Hudi 中至少精通一种表格式并解释 ACID、Time Travel、Hidden Partitioning

1. 学习路线

数仓分层架构 → 维度建模（星型 / SCD）→ 表格式概念 → Iceberg / Delta / Hudi 对比 → Time Travel → Lakehouse 落地

2. 阶段周数分配

每天 1.5～2 小时。2 周方案聚焦前 5 阶段；2.5 周方案多 2 天做 Lakehouse 端到端落地。

3. 核心知识 / 产出 / 标准表

4. 第一周（每天 1.5~2 小时）

Day 1 约定：本计划使用 Docker Compose 起 Iceberg on MinIO + Spark 3.5 + Trino。SQL 客户端用 spark-sql 与 trino。Iceberg 元数据用 SELECT * FROM table.files / table.snapshots / table.manifests 查。所有表必须可重跑：清空数据 + 重跑 DDL 产出相同 schema。

Day 7 执行次序

步骤 A —— 最小可用数仓（60~90 分钟）

1. 用 Spark 读 CSV → 写 Iceberg ods_orders；
2. dbt 写 dwd_orders（清洗 + SCD Type 2 关联维表）；
3. dbt 写 dws_orders_daily（按日汇总）；
4. dbt 写 ads_top_products（Top 10 商品）；
5. 4 层全部 dbt build 通过。

步骤 B —— 4 类边界用例（30~45 分钟）

Day 7 当天必完成步骤 A；步骤 B 至少完成 B1、B2。

5. 阶段通用验收

1. 不看答案独立重写一套 4 层 Iceberg 数仓 + Time Travel 演练；
2. 用自己的话解释”为什么分层""为什么 SCD Type 2 常用""为什么 Iceberg 优于裸 Parquet""为什么 Hidden Partitioning 是关键”；
3. 画一张图：分层架构图 + 维度模型星型图 + Iceberg manifest 关系图（三件套之一）；
4. 测试源缺失、分区冲突、Time Travel 失败、Schema 演进、小文件膨胀 5 类边界；
5. 准备至少 3 组自定义数据集（电商 / IoT / 日志）并贴出实际 schema 与查询耗时；
6. 记录 4 层每层行数、Iceberg 快照数、查询 P50 / P99、写入吞吐 4 个核心指标；
7. 能修改已有 schema（加列 / 改类型 / 换分区策略）并用 Time Travel 验证历史可读。

交付存放：第 3 项的图、第 5 项的输出、第 6 项的指标，统一存到 week1/notes/ 或 week1/<table>/README.md。

6. 最终验收

• 独立设计并交付一套分层数仓（ODS / DWD / DWS / ADS），至少 1 张事实表 + 3 张维度表 + Iceberg 表格式 + Time Travel 演练；

• 至少完成 18 个实战项（分布建议）：

  子阶段	题目数量	难度	平台建议
  分层架构与命名	3	Easy / Medium	Kimball Group 案例
  维度建模与 SCD	4	Medium	Kimball《Toolkit》Ch.2~4
  Iceberg / Delta / Hudi 对比	4	Medium / Hard	Apache 官方 Examples
  Time Travel 与回滚	3	Medium	Iceberg Spec + Examples
  Lakehouse 端到端	4	Hard	Iceberg on MinIO + Spark + Trino

  约束：至少 9 项达到 Medium，至少 3 项达到 Hard；每项必须留可运行 SQL + EXPLAIN ANALYZE 输出。

• 完成 1 个综合项目：mini Lakehouse（CSV → Iceberg ODS → dbt DWD/DWS/ADS → Trino 看板）；

• 能用 15 分钟讲清 4 层责任、维度建模取舍、Iceberg 快照机制、Time Travel 用法、表格式选型。

7. 综合项目

首选：mini Lakehouse（必做：分层数仓 + Iceberg + Time Travel + Trino 看板）。
备选：电商订单分析 Lakehouse（含 SCD Type 2 维表 + 维度建模 + Iceberg on MinIO）。
备选：IoT 时序 Lakehouse（含时序分区 + 流式写入 Iceberg + Grafana 看板）。

mini Lakehouse 必做要求：

• 输入：订单 CSV（至少 3 份不同 schema 的文件，按天分区）；
• 输出：必输出（1）4 层 schema：ODS（原始 Iceberg）→ DWD（清洗 + SCD Type 2）→ DWS（每日汇总）→ ADS（Top 商品 / 用户 ARPU）；（2）Time Travel 演练：写错 → 回滚 → 验证；（3）Trino 看板：日订单量 / GMV / Top 10 商品 / 漏斗转化；（4）Schema 演进演练：加列 / 改类型 / 改分区策略；（5）Iceberg 快照与 manifest 解读报告；
• 算法 / 工程：用 PARTITIONED BY (days(order_date))；用 TBLPROPERTIES ('format-version'='2')；Trino catalog 用 Iceberg REST；
• 进阶可选：用 Hudi 做对比基准；接 OpenLineage 输出血缘事件；用 StarRocks / ClickHouse 替代 Trino 做 OLAP。

任何综合项目都必须包含：

1. 需求说明与数据契约（源 schema、目标 schema、SLA、分区策略）；
2. 分层架构图与命名规范文档；
3. 核心代码（Spark SQL DDL + dbt models + Trino 看板配置）；
4. 边界测试（源缺失、分区冲突、Time Travel 失败、Schema 演进、小文件膨胀）；
5. 可观测（Iceberg snapshot 元数据 + Trino metrics）；
6. README（设计取舍、表格式选型理由、下一步）；
7. 复盘记录（模拟 1 次回滚 + 1 次 Schema 演进失败，写 retrospective.md）；
8. notes/ 规范：

本主题贡献

数仓建模的核心矛盾是”分析查询要快 vs 业务需求会变”。本子主题专门讲清 star schema + Iceberg partition evolution 如何把这条矛盾变成可演进架构——以 Kimball star schema 为建模事实标准，dbt 为转换与测试引擎，Iceberg hidden partitioning + partition evolution 为存储演进基础，把 Time Travel 当作错误回滚与历史追溯的事实机制；不重复父主题的 Airflow 编排与通用 SQL 调优。

3 职责

1. 用 star schema 把业务拆成”1 张事实表 + N 张维度表”，维度表配 SCD Type 2（effective_date / end_date / is_current）做历史追溯；事实表配 dbt 5 类测试（unique / not_null / relationships / freshness / accepted_values）做质量门禁。
2. 用 Iceberg partition evolution（partition_spec 可演进，不重写历史数据）应对数据量变化——从按天分区演进到按月分区、按小时分区，下游查询自动走 partition pruning。
3. 用 Iceberg Time Travel（SELECT * FROM tbl FOR SYSTEM_TIME AS OF 'snapshot-id' + CALL system.rollback_to_snapshot('tbl', snapshot_id)）做错误回滚与历史审计；用 snapshots / manifests / files 元数据视图解读小文件与写入模式。

4 交付物

1. 一份 4 层 Iceberg schema（ODS / DWD / DWS / ADS），事实表 fct_orders + 维度表 dim_user / dim_product / dim_date（SCD Type 2），命名规范 ods_ / dwd_ / dws_ / ads_ / dim_。
2. 一份 dbt 项目（staging / intermediate / marts 三层），5 条 dbt test，配 dbt source freshness + dbt build 质量门禁；Iceberg 表 PARTITIONED BY (days(order_date)) + TBLPROPERTIES ('format-version'='2')。
3. 一份 partition evolution 演练脚本（按天 → 按月 → 按小时三次演进），配 EXPLAIN 看 partition pruning 命中，每次演进后 Time Travel 读历史数据 OK。
4. 一份 Iceberg 元数据解读报告（SELECT * FROM table.snapshots / manifests / files），含 Time Travel 回滚演练（写错 → rollback_to_snapshot → 验证一致）+ 三表格式对比基准（Iceberg / Delta / Hudi 写入耗时与小文件数）。

3 指标

1. dbt build 5 类测试通过率 100%（dbt test 输出 5 passed，dbt build exit code 0）。
2. Iceberg partition pruning 命中率 ≥ 90%（查询走分区裁剪，扫描文件数 / 总文件数 < 10%）。
3. Time Travel 回滚恢复时长 < 1 min（rollback_to_snapshot 执行到下游查询一致）。

8. 推荐开源资料

许可证提示：Iceberg / Delta / Hudi / Spark / Trino / MinIO 都是 Apache-2.0；Delta Lake 由 Linux Foundation 托管，商用无需特殊授权。复制 Apache 项目示例前请保留 LICENSE 与 NOTICE。默认做法是读规范后自己写 DDL，而不是复制官方 Example。

默认使用顺序：先读 Kimball《Toolkit》第 1~3 章建立维度建模心智 → 装 Iceberg on MinIO + Spark + Trino → 写 4 层 DDL → 用 SCD Type 2 写 dim_user → 跑 Time Travel 演练 → 对比 Iceberg / Delta / Hudi 写入基准 → 配 Trino catalog 做联邦查询 → 读 Iceberg Spec v2 看 manifest 规范 → 写复盘到 notes/retrospective.md。

9. 学习资料汇聚（v0.3 自包含）

本节由本计划生成。链接指向原始材料或作者公开内容。规范会演进，记录时务必写明版本与日期。

9.1 背景与动机

传统数仓（Teradata、Greenplum、Snowflake）解决”结构化分析查询”问题，但成本高、扩展难。数据湖（HDFS + Parquet）解决”低成本存储任意数据”问题，但缺 ACID 与 schema。2017 年 Delta Lake、2018 年 Iceberg、2019 年 Hudi 先后开源，让 Lakehouse 把两者合一——同一份存储既支持低成本 schema-on-write 又支持 SQL 分析查询。Kimball 的维度建模理论从 1996 年至今仍是数仓建模的事实标准，星型 schema 与 SCD 仍是设计落点。

9.2 概念地图

flowchart LR
  Source[源系统] --> ODS[ODS 原始层]
  ODS --> DWD[DWD 明细层]
  DIM[维度表] --> DWD
  DWD --> DWS[DWS 汇总层]
  DWD --> DIM
  DWS --> ADS[ADS 应用层]
  Lake[Lakehouse Iceberg/Delta/Hudi] --> ODS
  Lake --> DWD
  Lake --> DWS
  Catalog[Hive/Glue/Polaris] --> Lake
  Engine[Spark/Trino/Flink] --> Lake

9.3 基础知识讲解

9.3.1 经典论文

9.3.2 经典书籍

9.3.3 优秀博客与文档

9.3.4 核心人物

9.3.5 开发方法

9.4 经典问题与经典案例（≥5 道）

9.5 学习难点

概念难点

思维难点

工程难点

9.6 技术标准与接口

Entity

Scope

Iceberg/Delta/Hudi 是表格式，不替代文件存储与计算引擎；Hive Metastore/Glue 是目录服务，不替代查询引擎。

Structure

• Iceberg：metadata.json + manifest list + manifest file + Parquet data file，Snapshot 是不可变视图。
• Delta Lake：_delta_log/JSON + Parquet，用 OPTIMIZE 合并小文件。
• Hudi：Base file + Log file，COW 写时合并、MOR 读时合并。

Ecosystem

• Catalog：Hive Metastore、AWS Glue、Polaris、Unity Catalog。
• 引擎：Spark、Trino、Flink、Presto、Hive。
• 文件格式：Parquet、Avro、ORC。
• 元数据：Apache Atlas、DataHub、Unity Catalog。

Depth Tiers

本子主题目标：L3。

Source

• Apache Iceberg 官方文档：引用快照 2026-07-30。
• Delta Lake 官方文档：引用快照 2026-07-30。
• Apache Hudi 官方文档：引用快照 2026-07-30。

9.7 关键代码

9.7.1 Iceberg 表 + Time Travel

-- 9.7.1 Iceberg 表创建、写入、Time Travel
-- Spark SQL
CREATE TABLE dw.orders (
    order_id BIGINT,
    user_id BIGINT,
    amount DECIMAL(10, 2),
    order_date DATE
) USING iceberg
PARTITIONED BY (days(order_date))
TBLPROPERTIES ('format-version' = '2');

INSERT INTO dw.orders VALUES (1, 100, 99.50, DATE '2026-01-15');

-- Time Travel：回滚到上一个快照
CALL dw.system.rollback_to_snapshot('orders', <snapshot_id>);

-- 按快照时间查询
SELECT * FROM dw.orders FOR SYSTEM_TIME AS OF '2026-01-15 12:00:00';

9.7.2 SCD Type 2 维度表

-- 9.7.2 PostgreSQL 写 SCD Type 2 用户维度表
CREATE TABLE dim_user (
    user_id BIGINT,
    name TEXT,
    email TEXT,
    -- SCD Type 2 字段
    effective_date DATE NOT NULL,
    end_date DATE,
    is_current BOOLEAN NOT NULL DEFAULT TRUE,
    version INT NOT NULL DEFAULT 1
);

-- 一次性更新：触发新版本
UPDATE dim_user
SET end_date = CURRENT_DATE,
    is_current = FALSE
WHERE user_id = 100 AND is_current = TRUE;

INSERT INTO dim_user
VALUES (100, 'New Name', 'new@example.com', CURRENT_DATE, NULL, TRUE, 2);

9.7.3 Docker Compose 起 Iceberg on MinIO

# 9.7.3 docker-compose.yml：Iceberg on MinIO + Spark
services:
  minio:
    image: minio/minio:latest
    command: server /data --console-addess ":9001"
    environment:
      MINIO_ROOT_USER: minio
      MINIO_ROOT_PASSWORD: minio123
    ports: ["9000:9000", "9001:9001"]

  spark-iceberg:
    image: tabulario/iceberg-spark:3.5
    depends_on: [minio]
    environment:
      - AWS_ACCESS_KEY_ID=minio
      - AWS_SECRET_ACCESS_KEY=minio123
      - AWS_REGION=us-east-1
      - S3_ENDPOINT=http://minio:9000
    volumes: ["./warehouse:/warehouse"]

10. 常见误区

• 分层不规范，ODS 直接写 ADS；
• 用雪花型，雪花型难维护；
• SCD Type 2 缺 end_date / is_current；
• Iceberg 当裸 Parquet 用，不配 schema evolution；
• Delta 不做 OPTIMIZE，小文件爆炸；
• Hudi 选错 MOR/COW 模式；
• Catalog 选 Hive 但跨云访问；
• Time Travel 配太短保留期（默认 5 天）；
• 不做小文件合并，元数据膨胀；
• 维度表与事实表命名混用；
• 分区字段用业务时间戳，跨时区混乱；
• 表格式 schema evolution 跳过兼容性检查。

11. 所有知识点分类

1. 编程语言
2. 数据结构与算法
3. 计算机基础
4. 工程技术
5. Web 与后端
6. 前端与客户端
7. 数据与人工智能
8. 项目与职业能力
9. 安全与可靠性

本计划归属：数据与人工智能 主 + 工程技术 辅。