en el aprendizaje automático, los bosques aleatorios del núcleo establecen la conexión entre los bosques aleatorios y los métodos del núcleo. Modificando ligeramente su definición, los bosques aleatorios se pueden reescribir como Métodos del núcleo, que son más interpretables y más fáciles de analizar.
Historiaeditar
Leo Breiman fue la primera persona en notar el vínculo entre los métodos random forest y kernel. Señaló que los bosques aleatorios que se cultivan utilizando vectores aleatorios i.i.d. en la construcción del árbol son equivalentes a un núcleo que actúa sobre el margen verdadero., Lin y Jeon establecieron la conexión entre los bosques aleatorios y el vecino más cercano adaptativo, lo que implica que los bosques aleatorios pueden ser vistos como estimaciones adaptativas del núcleo. Davies y Ghahramani propusieron el núcleo de bosque aleatorio y muestran que puede superar empíricamente los métodos de núcleo de última generación. Scornet definió por primera vez las estimaciones de la KeRF y dio el vínculo explícito entre las estimaciones de la KeRF y el bosque Aleatorio. También dio expresiones explícitas para los núcleos basados en bosque Aleatorio centrado y bosque Aleatorio uniforme, dos modelos simplificados de bosque Aleatorio., Nombró a estos dos cortes centrados y uniformes, y probó límites superiores en sus tasas de consistencia.
notaciones y definiciónesedit
preliminares: bosques Centralesedit
bosque centrado es un modelo simplificado para el bosque Aleatorio original de Breiman, que selecciona uniformemente un atributo entre todos los atributos y realiza divisiones en el Centro de la celda a lo largo del atributo pre-elegido. El algoritmo se detiene cuando se construye un árbol completamente binario de nivel k {\displaystyle K}, donde k ∈ N {\displaystyle k \ in \ mathbb {N} } es un parámetro del algoritmo.,
Uniform forestEdit
Uniform forest es otro modelo simplificado para el bosque Aleatorio original de Breiman, que selecciona uniformemente una entidad entre todas las entidades y realiza divisiones en un punto dibujado uniformemente en el lado de la celda, a lo largo de la entidad preseleccionada.,
From random forest to KeRFEdit
m ~ M , n ( x , Θ 1 , … Θ M ) = 1 agua j = 1 M N N ( x , Θ j ) agua j = 1 M de agua i = 1 n i i 1 X i ∈ n ( x , Θ j ) , {\displaystyle {\tilde {m}}_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {1}{\sum _{j=1}^{M}N_{n}(\mathbf {x} ,\Theta _{j})}}\sum _{j=1}^{M}\sum _{i=1}^{n}Y_{i}\mathbf {1} _{\mathbf {X} _{i}\en A_{n}(\mathbf {x} ,\Theta _{j})},}
Centrado KeRFEdit
K k c c ( x , z ) = agua k 1 , … , k d , agua j = 1 d k j = k k ! k 1 ! k KD ! (1 d ) k j j = 1 d 1 2 2 k j x j = = 2 2 k j z j j , Para Todo x , z ∈ d ., {\displaystyle {\begin{aligned}K_{k}^{cc}(\mathbf {x} ,\mathbf {z} )=\sum _{k_{1},\ldots ,k_{d},\sum _{j=1}^{d}k_{j}=k}&{\frac {k!}{k_{1}!\cdots k_{d}!}}\left({\frac {1}{d}}\right)^{k}\prod _{j=1}^{d}\mathbf {1} _{\lceil 2^{k_{j}}x_{j}\rceil =\lceil 2^{k_{j}}z_{j}\rceil },\\&{\text{ for all }}\mathbf {x} ,\mathbf {z} \in ^{d}.\end{aligned}}}
Uniform KeRFEdit
K k u f ( 0 , x ) = ∑ k 1 , … , k d , ∑ j = 1 d k j = k k ! k 1 ! … k d ! ( 1 d ) k ∏ m = 1 d ( 1 − | x m | ∑ j = 0 k m − 1 ( − ln | x m | ) j j ! ) for all x ∈ d ., {\displaystyle K_{k}^{uf}(\mathbf {0} ,\mathbf {x} )=\sum _{k_{1},\ldots ,k_{d},\sum _{j=1}^{d}k_{j}=k}{\frac {k!} {k_{1}!\ldots k_{d}!}}\left({\frac {1}{d}}\right)^{k}\prod _{m=1}^{d}\left(1-|x_{m}|\sum _{j=0}^{k_{m}-1}{\frac {(-\ln |x_{m}|)^{j}}{j!}} \ right) {\text{ for all }}\mathbf {x} \in ^{d}.,}
PropertiesEdit
relación entre KeRF y random forestEdit
Las predicciones dadas por KeRF y random forests son cercanas si se controla el número de puntos en cada celda:
relación entre kerf infinito y infinite random forestEdit
Cuando el número de árboles m {\displaystyle M} va al infinito, entonces tenemos infinite random forest y Infinite KeRF. Sus estimaciones son cercanas si el número de observaciones en cada celda está delimitado: