Probabilitate în diferite domainsEdit

mai Mare momentsEdit

kth-pentru clipe de x sunt date de

μ 1 , … , N ( x ) = d e f μ r 1 , … , r N ( x ) = d e f E ⁡ {\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\operatorname {E} \stânga}

în cazul în care r1 + r2 + ⋯ + rN = k.

kth-pentru momentele centrale sunt după cum urmează

μ 1 , … , 2 λ ( x − μ ) = ∑ (∑m j σ k ℓ ⋯ σ X, Z ) {\displaystyle \mu _{1,\puncte ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)} E ⁡ = E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + E ⁡ ȘI ⁡ ȘI ⁡ + ȘI ⁡ ȘI ⁡ ȘI ⁡ .,torname {Și} \\&{}+\operatorname {E} \operatorname {E} \operatorname {E} +\operatorname {E} \operatorname {E} \operatorname {E} +\operatorname {E} \operatorname {E} \operatorname {Și} \\&{}+\operatorname {E} \operatorname {E} \operatorname {E} +\operatorname {E} \operatorname {E} \operatorname {E} +\operatorname {E} \operatorname {E} \operatorname {Și} \\&{}+\operatorname {E} \operatorname {E} \operatorname {E} +\operatorname {E} \operatorname {E} \operatorname {E} +\operatorname {E} \operatorname {E} \operatorname {Și} .,\end{aliniat}}}

covariances sunt apoi determinate prin înlocuirea termenilor din lista {\displaystyle } cu termenii corespunzători din lista format din r1 și r2 doi, etc.. Pentru a ilustra acest lucru, să examineze următoarele 4-pentru centrale moment de caz:

E ⁡ = 3 σ i i 2 E ⁡ = 3 σ am σ m j E ⁡ = σ am σ j j + 2 σ i j 2 E ⁡ = σ am σ j k + 2 ∑ i j σ i k E ⁡ = σ i j σ k n + σ i k σ j n + σ n σ j k ., {\displaystyle {\begin{aliniat}\operatorname {E} \stânga&=3\sigma _{ii}^{2}\\\operatorname {E} \stânga&=3\sigma _{ii}\sigma _{ij}\\\operatorname {Și} \stânga&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\\operatorname {E} \stânga&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\\operatorname {Și} \stânga&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{în}\sigma _{jk}.,\end{aliniat}}}

Funcțiile normale vectorEdit

Dacă f ( x ) {\displaystyle f({\boldsymbol {x}})} este un general scalar-evaluate în funcție de un vector normal, sa funcția densității de probabilitate, funcția de distribuție cumulativă, și inversa funcției de distribuție cumulativă poate fi calculat cu metoda numerică de ray-scanare (cod Matlab).,dsymbol {x}}} este pur și simplu log a funcției densitate de probabilitate:

ln ⁡ L ( x ) = − 1 2 {\displaystyle \ln L({\boldsymbol {x}})=-{\frac {1}{2}}\stânga} ,

circular simetrică versiune a noncentral caz complex, unde z {\displaystyle {\boldsymbol {z}}} este un vector de numere complexe, ar fi

ln ⁡ L ( z ) = − ln ⁡ ( | Σ | ) − ( z − μ ) † Σ − 1 ( z − μ ) − k ln ⁡ ( π ) {\displaystyle \ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\pumnal }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )}

am.,e. cu conjugat transpune (indicat de † {\displaystyle \pumnal } ) înlocuirea normală a transpune (indicat de T {\displaystyle {}^{\rm {T}}} ). Acest lucru este ușor diferit decât în cazul real, deoarece versiunea simetrică circulară a distribuției normale complexe are o formă ușor diferită pentru constanta de normalizare.o notație similară este utilizată pentru regresia liniară multiplă.deoarece probabilitatea log a unui vector normal este o formă pătratică a vectorului normal, acesta este distribuit ca o variabilă chi-pătrat generalizată.,ty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} ,\\&={\frac {1}{2}}\in \left(\left|\left(2\pi e\dreapta){\boldsymbol {\Sigma }}\right|\right)={\frac {1}{2}}\in \left(\left(2\pi e\right)^{k}\left|{\boldsymbol {\Sigma }}\right|\right)={\frac {k}{2}}\in \left(2\pi e\dreapta)+{\frac {1}{2}}\in \left(\stânga|{\boldsymbol {\Sigma }}\right|\right)={\frac {k}{2}}+{\frac {k}{2}}\in \left(2\pi \dreapta)+{\frac {1}{2}}\in \left(\stânga|{\boldsymbol {\Sigma }}\right|\right)\\\end{aliniat}}}

în cazul în care barele denotă determinant matrice și k sunt dimensiunile de spațiu vectorial.,L ( N 0 ‖ N 1 ) = 1 2 { tr ⁡ ( Σ 1 − 1 Σ 0 ) + ( μ 1 − μ 0 ) T Σ 1 − 1 ( μ 1 − μ 0 ) − k + ln ⁡ | Σ 1 | | Σ 0 | } , {\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\|{\mathcal {N}}_{1})={1 \peste 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \|peste{\boldsymbol {\Sigma }}_{0}|}\corect\},}

în cazul în care k {\displaystyle k} este dimensiunea de spațiu vectorial.,logaritmul trebuie luat la baza e, deoarece cei doi termeni care urmează logaritmului sunt ei înșiși logaritmi de bază-e ai expresiilor care sunt fie factori ai funcției de densitate, fie apar în mod natural. Prin urmare, ecuația dă un rezultat măsurat în nats. Împărțirea întregii expresii de mai sus prin loge 2 produce divergența în biți.

Când μ 1 = μ 0 {\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}} ,

D KL ( C N 0 ‖ C N 1 ) = 1 2 { tr ⁡ ( Σ 1 − 1 Σ 0 ) − k + ln ⁡ | Σ 1 | | Σ 0 | } ., {\displaystyle D_{\text{KL}}({\mathcal {CN}}_{0}\|{\mathcal {CN}}_{1})={1 \peste 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \|peste{\boldsymbol {\Sigma }}_{0}|}\corect\}.}

Reciprocă informationEdit

I ( X ) = − 1 2 ln ⁡ | ρ 0 | , {\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}

În bivariate caz expresia de informare reciprocă este:

I ( x ; y ) = − 1 2 ln ⁡ ( 1 − ρ 2 ) . {\displaystyle I (x;y)= – {1 \ peste 2}\ln (1 – \ rho ^{2}).,}

Comun normalityEdit

Normal distribuite și independentEdit

Două variabile aleatoare normal distribuite nu trebuie să fie în comun bivariate normalEdit

Corelații și independenceEdit

În general, variabile aleatoare poate fi necorelate dar din punct de vedere statistic dependente. Dar dacă un vector aleatoriu are o distribuție normală multivariată, atunci oricare două sau mai multe dintre componentele sale care nu sunt corelate sunt independente. Aceasta implică faptul că oricare două sau mai multe dintre componentele sale care sunt independente în perechi sunt independente., Dar, așa cum am subliniat mai sus, nu este adevărat că două variabile aleatorii care sunt (separat, marginal) distribuite în mod normal și necorelate sunt independente.,>{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ cu dimensiuni }}{\begin{bmatrix}q\ori q&q\ori (N-q)\\(N-q)\ori q&(N-q)\ori (N-q)\end{bmatrix}}}

apoi distribuirea x1 condiționată pe x2 = a este normală multivariată (x1 | x2 = o) ~ N(μ, Σ), unde

μ = μ 1 + Σ 12 Σ 22 − 1 ( a − μ 2 ) {\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\stânga(\mathbf {o} -{\boldsymbol {\mu }}_{2}\right)}

si matricea de covarianta

Σ = Σ 11 − Σ 12 Σ 22 − 1 Σ 21 ., {\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}

această matrice este complementul Schur al Σ22 în Σ. Aceasta înseamnă că pentru a calcula matricea covarianței condiționate, se inversează matricea covarianței globale, se scad rândurile și coloanele corespunzătoare variabilelor condiționate și apoi se inversează înapoi pentru a obține matricea covarianței condiționate., Aici Σ 22 − 1 {\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}} este generalizată inversul Σ 22 {\displaystyle {\boldsymbol {\Sigma }}_{22}} .

matricea Σ12Σ22-1 este cunoscută ca matricea coeficienților de regresie.

Bivariate caseEdit

X 1 ∣ X 2 = a ∼ N ( μ 1 + σ 1 σ 2 ρ ( o − μ 2 ) , ( 1 − ρ 2 ) σ 1 și 2 ) . {\displaystyle X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right).,}

în cazul în care ρ {\displaystyle \rho } este coeficientul de corelație între X 1 {\displaystyle X_{1}} și X 2 {\displaystyle X_{2}} .,) , ( 1 ρ ρ 1 ) ) {\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)}

așteptarea condiționată de X1 dat X2 este

E ⁡ ( X 1 ∣ X 2 = x 2 ) = ρ x 2 {\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}

și varianța condiționată este

var ⁡ ( X 1 ∣ X 2 = x 2 ) = 1 − ρ 2 ; {\displaystyle \operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};}

astfel, varianța condiționată nu depinde de x2.,

așteptarea condiționată de X1 având în vedere că X2 este mai mic/mai mare decât z este::367

E ⁡ ( X 1 ∣ X 2 < z ) = − ρ ϕ ( z ) Φ ( z ) , {\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\phi (z) \terminat \Phi (z)},} E ⁡ ( X 1 ∣ X 2 > z ) = ρ ϕ ( z ) ( 1 − Φ ( z ) ) , {\displaystyle \operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\phi (z) \peste (1-\Phi (z))},}

în cazul în care ultimul raport se numește raportul invers al lui Mills.,

E ⁡ ( X 1 ∣ X 2 < z ) = ρ E ( X 2 ∣ X 2 < z ) {\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)} și apoi, folosind proprietățile de așteptare a unui trunchi de distribuție normală. pentru a obține distribuția marginală pe un subset de variabile aleatoare normale multivariate, trebuie doar să renunți la variabilele irelevante (variabilele pe care cineva dorește să le marginalizeze) din vectorul mediu și matricea covarianței., Dovada pentru aceasta rezultă din definițiile distribuțiilor normale multivariate și algebrei liniare.,bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}

which extracts the desired elements directly.,

B = = B T . {\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}

observați cum definiția pozitivă a Σ implică faptul că variația produsului punct trebuie să fie pozitivă.

o transformare afină a lui X, cum ar fi 2X, nu este aceeași cu suma a două realizări independente ale lui X.,

Geometrice interpretationEdit

equidensity contururi de un non-singular distribuție normală multivariată sunt elipsoide (adică transformări liniare de hyperspheres) centrat la medie. Prin urmare, distribuția normală multivariată este un exemplu al clasei de distribuții eliptice. Direcțiile de axele principale de ellipsoids sunt date de vectorii proprii ale matricei de covarianță Σ {\displaystyle {\boldsymbol {\Sigma }}} . Lungimile relative pătrate ale axelor principale sunt date de valorile proprii corespunzătoare.,

Dacă Σ = UΛUT = UΛ1/2(UΛ1/2)T este o eigendecomposition în cazul în care coloanele de U sunt vectorii proprii unitare și Λ este matricea diagonală a valorilor proprii, atunci avem

X ∼ N ( μ , Σ ) ⟺ X ∼ μ + U Λ 1 / 2 N ( 0 , I ) ⟺ X ∼ μ + U N ( 0 , Λ ) . {\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).,}

Mai mult, U poate fi ales ca matrice de rotație, deoarece inversarea unei axe nu are niciun efect asupra N(0, Λ), dar inversarea unei coloane schimbă semnul determinantului lui U. Distribuția N (μ, Σ) este în vigoare N(0, I) scalată de Λ1/2, rotită cu U și tradusă de μ.în schimb, orice alegere de μ, matrice de rang Complet U și intrări diagonale pozitive Λi produce o distribuție normală multivariată non-singulară. Dacă orice Λi este zero și U este pătrat, matricea de covarianță rezultată UΛUT este singulară., Geometric acest lucru înseamnă că fiecare elipsoid contur este infinit subțire și are volum zero în spațiul n-dimensional, ca cel puțin una dintre axele principale are lungimea de zero; acesta este cazul degenerat.

” raza din jurul mediei reale într-o variabilă aleatoare normală bivariată, rescrisă în coordonate polare (rază și unghi), urmează o distribuție Hoyt.”

Într-o singură dimensiune probabilitatea de a găsi un eșantion de distribuție normală în intervalul µ ± σ {\displaystyle \mu \pm \sigma } este de aproximativ 68.,27%, dar în dimensiuni mai mari probabilitatea de a găsi o probă în regiunea elipsei deviației standard este mai mică.