【Bayesian Additive Regression Trees (BART)「貝式加成迴歸樹」相關概念介紹】

一、基本觀念

Bayesian Additive Regression Trees (BART) 的基本觀念BART 是一種非參數的迴歸模型，它結合了貝氏統計 (Bayesian Statistics) 和加性樹模型 (Additive Tree Models) 的優點。

1.1核心概念：

加性樹模型 (Sum-of-Trees Model): BART 的核心思想是將一個複雜的未知函數f(x)近似為許多（通常是數百個）簡單迴歸樹g_j(x)的總和，其一般化的公式如下。

1.2貝氏框架 (Bayesian Framework):

BART 將這個加性模型嵌入到貝氏統計框架中，BART對模型中的所有參數（包括樹的結構和葉節點的值）設定先驗分佈 (Prior Distributions)。利用馬可夫鏈蒙地卡羅 (Markov Chain Monte Carlo, MCMC) 演算法（通常是 Gibbs 抽樣器）來從這些參數的後驗分佈 (Posterior Distribution) 中進行抽樣，而不是直接找到一個「最佳」的模型。

1.3強大且正則化的先驗 (Regularizing Priors):

為了避免過度擬合 (Overfitting) 並確保每個樹都是弱學習器，BART 採用了特殊的正則化先驗：它偏好結構較小、較淺的迴歸樹。它將樹的葉節點值 (Terminal Node Parameters) u趨向於零進行收縮 (Shrinkage)。這些先驗確保了單個樹的預測值很小，因此只有當許多樹相加時才能準確擬合應變量 Y。

總和以上， BART 的優勢包含以下四點：

(1)高準確性：由於是加成方法，且具有強大的正則化作用(亦稱為正規化，將Y標準化為-0.5至0.5或-1至1之間)，BART 在預測準確性方面通常表現出色。

(2)捕捉非線性關係和交互作用：樹結構天生能夠捕捉複雜的非線性關係和高階的變量交互作用。

(3)自動化：對於許多重要的參數（如樹的數量 u），通常只需選擇一個足夠大的值即可，無需進行大量的超參數調優。

(4)不確定性量化 (Uncertainty Quantification)：作為一種貝氏方法，BART 自然地提供完整的後驗分佈，從而可以輕鬆計算預測的不確定性區間 (Credible Intervals)，例如95%信賴區間。

二、BART數學操作流程

2.1 數學方程式

BART 模型的基礎是迴歸方程式，其模型可以寫成以下形式。Y是方程式中的依變數(DV)，f(X)是自變數組合，epslon是誤差項，BART則是多棵樹的總和。

2.2 參數計算抽樣過程（MCMC/Gibbs 抽樣）

三、BART流程說明

以下我們先將簡易概念流程進行說明，接著再進行一個實際範例上的介紹。

3.1 模型設定

假設我們想預測一個地區的房價Y，並有以下自變量X_i，

X1:房屋面積 (平方英尺)

X2:臥室數量

X3:街區的平均收入（衡量地理位置）

我們接著設定OLS(傳統迴歸模型)，並理解BART的設定方式。

3.2運作說明：

3.2.1弱學習器的建立：

每棵樹g_j都被強烈正則化，使其非常小且簡單，只能捕捉到房價的一個微小面向。Tree 1 可能捕捉到一個簡單的規則：「如果 X1（面積）< 1500 且X2（臥室）< 3，則房價平均會比基線低 5 萬元。」Tree 2 可能捕捉到一個交互作用：「如果X3（收入）> 10 萬，則X1每增加 100 呎會額外增加0.5萬元。」… 以此類推，直到 Tree 200。

3.2.2 MCMC學習：

模型從一個殘差很大的初始狀態開始。

在每次 MCMC 迭代中，演算法會隨機選擇一棵樹，並試圖以最小化剩餘殘差的方式調整其結構和葉節點值。由於有正則化先驗，調整後的樹總是傾向於小的貢獻，避免單一樹主導預測。

3.2.3 預測及信賴區間