ClickHouse 系列：Projections 進階查詢加速技術

1108 字

6 分鐘

ClickHouse 系列：Projections 進階查詢加速技術

2025-08-22

software development

ClickHouse

/

Database

/

鐵人賽

在處理大規模資料聚合查詢時，ClickHouse 除了靠 Partition Pruning、Data Skipping Index 來加速查詢（~~忘了再回去複習~~），還有一個極具威力的查詢優化武器 — Projections。

Projections 能夠透過預先排序、聚合或重組資料結構，讓查詢執行路徑變得更短、更快。

什麼是 Projection？#

Projection 是一種儲存在 Table Parts 內部的物化結構 (Internal Materialized View)，會針對特定查詢場景提前建立排序或聚合結果。

特性	說明
屬於 Table 的一部分	Projection 資料與 Table 共存在同一個資料片段 (Part)。
查詢時自動命中	不需修改查詢語法，ClickHouse 會自動選擇最小掃描量的 Projection。
可建立多個 Projection	針對不同查詢需求定義不同 Projections。

Projection 的優勢#

減少掃描資料量 → 只讀 Projection 部分資料，不需掃描全表。
加快聚合計算 → 預先計算好的聚合結果，查詢時直接使用。
降低 I/O 負載 → 磁碟讀取量大幅下降，查詢延遲降低。

範例#

1
CREATE TABLE user_events
2
(
3
    EventDate Date,
4
    UserID UInt64,
5
    Action String,
6
    Version UInt32
7
) ENGINE = MergeTree()
8
PARTITION BY toYYYYMM(EventDate)
9
ORDER BY (UserID, EventDate)
10
SETTINGS index_granularity = 8192
11
AS
12
SELECT * FROM source_table;
13

14
ALTER TABLE user_events
15
ADD PROJECTION daily_user_action_counts
16
(
17
    SELECT
18
        EventDate,
19
        Action,
20
        count() AS ActionCount
21
    GROUP BY
22
        EventDate,
23
        Action
24
);

執行 OPTIMIZE TABLE user_events FINAL 後，ClickHouse 會在背景將 Projection 資料寫入 table parts 中。

查詢時自動命中 Projection#

只要查詢符合 Projection 結構，ClickHouse 會自動使用 Projection 來加速查詢：

1
SELECT EventDate, Action, count()
2
FROM user_events
3
WHERE EventDate = '2025-08-10'
4
GROUP BY EventDate, Action;

透過 EXPLAIN PLAN 可以看到查詢使用的是 Projection：

1
EXPLAIN PLAN SELECT EventDate, Action, count() FROM user_events WHERE EventDate = '2025-08-10' GROUP BY EventDate, Action;
2

3
Projection: daily_user_action_counts
4
ReadFromMergeTree (using projection)

實戰：Projections 加速 10 倍的案例#

假設 user_events 有 10 億筆資料，執行以下查詢：

1
SELECT EventDate, Action, count()
2
FROM user_events
3
WHERE EventDate >= '2025-08-01'
4
GROUP BY EventDate, Action;

未使用 Projection：需掃描完整 10 億筆資料，耗時 20 秒。
使用 Projection：只需掃描 1 千萬筆 Projection 資料，查詢僅需 2 秒。

這種場景特別適合 BI 報表、Dashboard 上的高頻聚合查詢。

注意事項與限制#

限制項目	說明
Projection 設計需事先規劃	Projection 一旦定義後，其結構無法修改。
INSERT 會同時寫入 Projection	寫入時會增加一些 CPU 運算負擔。
OPTIMIZE TABLE 需執行 Projection Merge	Projection 資料寫入後，需執行 Optimize 來合併 Projection Parts。