什麼是 CollapsingMergeTree？#

CollapsingMergeTree 是 ClickHouse MergeTree 家族的一員，設計用來解決「資料新增與刪除標記」的場景。 其運作邏輯是透過一個稱為 sign 的欄位標記資料的新增或刪除狀態，在背景 Merge 操作時，自動將 sign 相反的紀錄抵消 (collapse) 以實現邏輯刪除效果。

語法#

1
CREATE TABLE user_actions
2
(
3
    user_id UInt64,
4
    action String,
5
    sign Int8
6
) ENGINE = CollapsingMergeTree(sign)
7
ORDER BY user_id;

1
-- 新增行為紀錄
2
INSERT INTO user_actions VALUES (1, 'login', 1);
3
INSERT INTO user_actions VALUES (2, 'purchase', 1);
4

5
-- 邏輯刪除 user_id = 2 的紀錄
6
INSERT INTO user_actions VALUES (2, 'purchase', -1);

1
SELECT * FROM user_actions;

1
OPTIMIZE TABLE user_actions FINAL;

運作原理#

1. 資料寫入時不進行即時去重，所有資料（含 sign = -1）都會被寫入磁碟。
2. 在背景合併 (Merge) 操作時，ClickHouse 會根據 Primary Key 對應的資料進行配對：
   • 1 筆 sign = 1 與 1 筆 sign = -1 的資料將被抵消 (collapse)。
   • 若 sign 數量不平衡 (如 sign = 1 多餘 sign = -1)，則會保留差值的紀錄。
3. 查詢時不會自動隱藏尚未抵消的資料，若要查詢已 collapse 的最終結果，可透過 FINAL 查詢保證一致性。
4. 資料刪除是最終一致性動作，在 Merge 完成前仍會顯示原始資料。

應用場景#

與 ReplacingMergeTree 的差異比較#

查詢時的 FINAL 使用與效能注意#

因為 CollapsingMergeTree 的去重與刪除動作發生於 Merge 階段，在查詢時若需要立即看到最終一致的結果，必須加上 FINAL 關鍵字：

1
SELECT * FROM user_actions FINAL;

設計範例#

1
CREATE TABLE user_events
2
(
3
    event_time DateTime,
4
    user_id UInt64,
5
    event_type String,
6
    sign Int8
7
) ENGINE = CollapsingMergeTree(sign)
8
PARTITION BY toYYYYMM(event_time)
9
ORDER BY (user_id, event_time);

Best Practice#

結語#

CollapsingMergeTree 是 ClickHouse 在處理事件去重、邏輯刪除場景下的利器。透過 sign 欄位標記資料狀態，搭配合適的 Primary Key 設計與背景合併策略，能夠高效實現軟刪除與資料去重邏輯。然而，對於查詢一致性需求高的場景，必須謹慎設計 FINAL 查詢策略與定期優化維護作業，以避免效能瓶頸。