Foresta casuale

Nell’apprendimento automatico, le foreste casuali del kernel stabiliscono la connessione tra foreste casuali e metodi del kernel. Modificando leggermente la loro definizione, le foreste casuali possono essere riscritte come metodi del kernel, che sono più interpretabili e più facili da analizzare.

HistoryEdit

Leo Breiman fu la prima persona a notare il legame tra foresta casuale e metodi kernel. Ha sottolineato che le foreste casuali che vengono coltivate usando i vettori casuali iid nella costruzione dell’albero sono equivalenti a un kernel che agisce sul margine reale., Lin e Jeon hanno stabilito la connessione tra le foreste casuali e il vicino più vicino adattivo, implicando che le foreste casuali possono essere viste come stime adattive del kernel. Davies e Ghahramani proposto Kernel foresta casuale e mostrano che può empiricamente sovraperformare state-of-art metodi del kernel. Scornet ha prima definito le stime del KeRF e ha fornito il collegamento esplicito tra le stime del KeRF e la foresta casuale. Ha anche dato espressioni esplicite per i kernel basati su foresta casuale centrata e foresta casuale uniforme, due modelli semplificati di foresta casuale., Ha chiamato questi due KERF Centered KeRF e Uniform KeRF, e ha dimostrato limiti superiori sui loro tassi di coerenza.

Notazioni e definizionimodifica

Preliminari: Foreste centratEdit

La foresta centrata è un modello semplificato per la foresta casuale originale di Breiman, che seleziona uniformemente un attributo tra tutti gli attributi ed esegue suddivisioni al centro della cella lungo l’attributo pre-scelto. L’algoritmo si arresta quando viene creato un albero completamente binario di livello k {\displaystyle k}, dove k N N {\displaystyle k \ in \ mathbb {N}} è un parametro dell’algoritmo.,

Uniform forestEdit

Uniform forest è un altro modello semplificato per la foresta casuale originale di Breiman, che seleziona uniformemente una caratteristica tra tutte le caratteristiche ed esegue spaccature in un punto uniformemente disegnato sul lato della cella, lungo la caratteristica preselezionata.,

Dalla foresta casuale a KeRFEdit

m ~ M , n (x, Θ 1 , … ,, Q, M ) = 1 j = 1 M N N ( x , Θ j ) acqua j = 1 M di acqua i = 1 n Y i 1 X i ∈ n ( x , Q, j),, {\displaystyle {\tilde {m}}_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {1}{\sum _{j=1}^{M}N_{n}(\mathbf {x} ,\Theta _{j})}}\sum _{j=1}^{M}\sum _{i=1}^{n}Y_{i}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})},}

Centrato KeRFEdit

K k c c ( x , z ) = acqua 1 dir., … , k d, acqua j = 1 d k j = k k ! k1 ! k kd ! ( 1 ) d) k ∏ j = 1 d 1 ⌈ 2 k j x j ⌉ = ⌈ 2 k j z j ⌉ , per ogni x , z ∈ d ., {\displaystyle {\begin{aligned}K_{k}^{cc}(\mathbf {x} ,\mathbf {z} )=\sum _{k_{1},\ldots ,k_{d},\sum _{j=1}^{d}k_{j}=k}&{\frac {k!}{k_{1}!\cdots k_{d}!}}\left({\frac {1}{d}}\right)^{k}\prod _{j=1}^{d}\mathbf {1} _{\lceil 2^{k_{j}}x_{j}\rceil =\lceil 2^{k_{j}}z_{j}\rceil },\\&{\text{ for all }}\mathbf {x} ,\mathbf {z} \in ^{d}.\end{aligned}}}

Uniform KeRFEdit

K k u f ( 0 , x ) = ∑ k 1 , … , k d , ∑ j = 1 d k j = k k ! k 1 ! … k d ! ( 1 d ) k ∏ m = 1 d ( 1 − | x m | ∑ j = 0 k m − 1 ( − ln ⁡ | x m | ) j j ! ) for all x ∈ d ., Il nostro sito utilizza cookie tecnici e di terze parti per migliorare la tua esperienza di navigazione.!} {k_{1}!\ ldots k_{d}!}il nostro sito utilizza cookie tecnici e di terze parti per migliorare la tua esperienza di navigazione.!}} \ right) {\text {for all }} \ mathbf {x} \ in ^{d}.,}

PropertiesEdit

Relazione tra KeRF e casuale forestEdit

Previsioni date da Taglio e foreste casuali sono vicino se il numero di punti in ogni cella è controllata:

Relazione tra l’infinito KeRF e infinito casuale forestEdit

Quando il numero di alberi di M {\displaystyle M} va all’infinito, quindi abbiamo infinite casuale foresta e infinito Taglio. Le loro stime sono vicine se il numero di osservazioni in ogni cella è limitato:

Risultati di consistenzaedit

Coerenza del KeRFEdit centrato

Coerenza del KeRFEdit uniforme

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *