O introducere blândă în clasificatorul optimal Bayes

Tweet Share Share

Ultima actualizare pe 19 August 2020

clasificatorul optimal Bayes este un model probabilistic care face cea mai probabilă predicție pentru un nou exemplu.este descris folosind teorema Bayes care oferă o modalitate principială pentru calcularea unei probabilități condiționale. De asemenea, este strâns legată de maximul a Posteriori: un cadru probabilistic denumit MAP care găsește cea mai probabilă ipoteză pentru un set de date de formare.,în practică, clasificatorul optim Bayes este scump din punct de vedere computațional, dacă nu poate fi calculat și, în schimb, simplificări precum algoritmul Gibbs și Bayes Naive pot fi utilizate pentru a aproxima rezultatul.în acest post, veți descoperi Bayes clasificator optim pentru a face predicțiile cele mai exacte pentru noi instanțe de date.după ce ați citit acest post, veți ști:

  • Teorema Bayes oferă o modalitate principială pentru calcularea probabilităților condiționale, numită probabilitate posterioară.,
  • Maxim a Posteriori este un cadru probabilistic care găsește cea mai probabilă ipoteză care descrie setul de date de formare.clasificatorul optimal Bayes este un model probabilistic care găsește cea mai probabilă predicție folosind datele de formare și spațiul ipotezelor pentru a face o predicție pentru o nouă instanță de date.

începeți proiectul cu noua mea carte Probability for Machine Learning, inclusiv tutoriale pas cu pas și fișierele de cod sursă Python pentru toate exemplele.

Să începem.,

O Introducere sumară în Bayes Optimale Clasificator
Photo by Nate Loper, unele drepturi rezervate.acest tutorial este împărțit în trei părți; acestea sunt:

  1. Teorema Bayes
  2. Maxim a Posteriori (MAP)
  3. clasificatorul optim Bayes

Teorema Bayes

reamintim că teorema Bayes oferă un mod principial de calcul al unei probabilități condiționale.,

Aceasta implică calcularea probabilității condiționate de rezultatul dat un alt rezultat, folosind inversa această relație, a declarat, după cum urmează:

  • P(A | B) = (P(B | A) * P(O)) / P(B)

cantitate că suntem calcul este de obicei menționată ca posterior probabilitatea ca Un dat de B și P(O) este menționată ca probabilitate înainte de A.

normalizarea constantă de P(B) poate fi eliminat, iar posterior pot fi afișate pentru a fi proporțională cu probabilitatea de a B a dat Un înmulțită cu prealabile.,<| P>

  • P(A | B) este proporțională cu P(B/A) * P(A)

sau, pur și simplu: <| P>

  • P(A | B) = P(B/A) * P(A)

aceasta este o simplificare utilă, deoarece nu ne interesează estimarea unei probabilități, ci optimizarea unei cantități. O cantitate proporțională este suficient de bună în acest scop.pentru mai multe informații despre teorema lui Bayes, consultați postarea:

  • O introducere blândă a teoremei lui Bayes pentru învățarea automată

acum că suntem la curent cu Teorema lui Bayes, să aruncăm o privire și asupra cadrului Maxim a Posteriori.,învățarea automată implică găsirea unui model (ipoteză) care explică cel mai bine datele de instruire.există două cadre probabilistice care stau la baza multor algoritmi diferiți de învățare automată.acestea sunt:

  • Maxim a Posteriori (MAP), O metodă Bayesiană.
  • estimarea probabilității maxime (MLE), o metodă frecventistă.obiectivul ambelor cadre în contextul învățării automate este de a localiza ipoteza cea mai probabilă având în vedere setul de date de instruire.,mai exact, ei răspund la întrebarea:

    care este cea mai probabilă ipoteză dată de datele de instruire?ambele abordări încadrează problema montării unui model ca optimizare și implică căutarea unei distribuții și a unui set de parametri pentru distribuția care descrie cel mai bine datele observate.MLE este o abordare frequentistă, iar MAP oferă o alternativă Bayesiană.,

    un înlocuitor popular pentru maximizarea probabilității este maximizarea densității de probabilitate posterioară Bayesiană a parametrilor.

    — Page 306, Information Theory, Inference and Learning Algorithms, 2003.,

    Având în vedere simplificarea Teorema Bayes pentru un proporțională cu cantitatea, ne putem folosi de ea pentru a estima proporțională ipoteze și parametri (theta) care explica set de date (X), a declarat ca:

    • P(theta | X) = P(X | theta) * P(theta)

    Maximizarea această cantitate într-un interval de theta rezolvă o problemă de optimizare pentru estimarea tendinței centrale posterior de probabilitate (de exemplu, modelul de distribuție).,ca atare, această tehnică este denumită „estimarea maximă a posteriori” sau estimarea hărții pe scurt și, uneori, pur și simplu „estimarea maximă posterioară.”

    • maximizați P (X / theta) * P(theta)

    Pentru mai multe informații despre subiectul Maxim a Posteriori, consultați postarea:

    • O introducere blândă la maxim a Posteriori (MAP) pentru învățarea automată

    acum că suntem familiarizați cu cadrul hărții, putem arunca o privire mai atentă asupra conceptului aferent Clasificatorului optimal Bayes.,clasificatorul optimal Bayes este un model probabilistic care face cea mai probabilă predicție pentru un nou exemplu, având în vedere setul de date de antrenament.acest model este denumit și Bayes optimal learner, clasificatorul Bayes, Bayes optimal decision boundary sau Bayes optimal discriminant function.clasificatorul Bayes: model Probabilistic care face cea mai probabilă predicție pentru exemple noi.,mai exact, clasificatorul optimal Bayes răspunde la întrebarea:

    care este cea mai probabilă clasificare a noii instanțe, având în vedere datele de instruire?

    Acest lucru este diferit de Cadrul de hartă care caută ipoteza cea mai probabilă (model). În schimb, suntem interesați să facem o predicție specifică.

    în general, clasificarea cea mai probabilă a noii instanțe este obținută prin combinarea predicțiilor tuturor ipotezelor, ponderate de probabilitățile lor posterioare.,

    — Page 175, Machine Learning, 1997.ecuația de mai jos demonstrează cum se calculează probabilitatea condiționată pentru o nouă instanță (vi) având în vedere datele de formare (D), având în vedere un spațiu de ipoteze (H).p(vj | d) = sum {h în H} P (vj | hi) * P (hi | D)

unde vj este o nouă instanță care trebuie clasificată, H este setul de ipoteze pentru clasificarea instanței, hi este o ipoteză dată, P (vj / hi) este probabilitatea posterioară pentru vi ipoteza dată hi, iar P(hi | D) este probabilitatea posterioară a ipotezei hi având în vedere datele D.,selectarea rezultatului cu probabilitatea maximă este un exemplu de clasificare optimă Bayes.orice model care clasifică exemple folosind această ecuație este un clasificator optim Bayes și niciun alt model nu poate depăși această tehnică, în medie.

orice sistem care clasifică instanțe noi în funcție de este numit un clasificator optim Bayes, sau Bayes elev optimal. Nicio altă metodă de clasificare care utilizează același spațiu de ipoteză și aceleași cunoștințe anterioare nu poate depăși această metodă în medie.,

— Page 175, Machine Learning, 1997.

trebuie să lăsăm asta să se scufunde.

este o afacere mare.aceasta înseamnă că orice alt algoritm care operează pe aceleași date, același set de ipoteze și aceleași probabilități anterioare nu poate depăși această abordare, în medie. De aici și numele ” clasificator optim.deși clasificatorul face predicții optime, nu este perfect, având în vedere incertitudinea datelor de instruire și acoperirea incompletă a domeniului problemei și a spațiului ipotezelor. Ca atare, modelul va face erori., Aceste erori sunt adesea denumite erori Bayes.

clasificatorul Bayes produce cea mai mică rată de eroare posibilă de testare, numită rata de eroare Bayes. Rata de eroare Bayes este analogă erorii ireductibile …

— pagina 38, O Introducere în învățarea Statistică cu aplicații în R, 2017.deoarece clasificatorul Bayes este optim, eroarea Bayes este eroarea minimă posibilă care poate fi făcută.

  • eroare Bayes: eroarea minimă posibilă care poate fi făcută atunci când se fac predicții.,mai mult, modelul este adesea descris în termeni de clasificare, de exemplu clasificatorul Bayes. Cu toate acestea, principiul se aplică la fel de bine regresiei: adică probleme de modelare predictivă în care se prezice o valoare numerică în locul unei etichete de clasă.

    este un model teoretic, dar este susținut ca un ideal pe care am putea dori să-l urmărim.

    în teorie, am dori întotdeauna să prezicem răspunsurile calitative folosind clasificatorul Bayes., Dar pentru datele reale, nu cunoaștem distribuția condiționată a lui Y dat X, astfel încât calcularea Clasificatorului Bayes este imposibilă. Prin urmare, clasificatorul Bayes servește ca un standard de aur de neatins față de care se compară alte metode.

    — pagina 39, O Introducere în învățarea Statistică cu aplicații în R, 2017.din cauza costului computațional al acestei strategii optime, în schimb putem lucra cu simplificări directe ale abordării.,două dintre simplificările cele mai frecvent utilizate folosesc un algoritm de eșantionare pentru ipoteze, cum ar fi eșantionarea Gibbs, sau pentru a utiliza ipotezele simplificatoare ale Clasificatorului naiv Bayes.

    • algoritmul Gibbs. Eșantion aleatoriu ipoteze părtinitoare pe probabilitatea lor posterioară.
    • naive Bayes. Să presupunem că variabilele din datele de intrare sunt independente condiționat.,

    Pentru mai multe pe acest subiect Naiv Bayes, vezi mesaj:

    • Cum de a Dezvolta un Naiv Bayes Clasificator de la Zero în Python

    cu toate Acestea, mulți neliniare algoritmi de învățare mașină sunt în stare să facem predicții sunt, care sunt aproape aproximări ale clasificatorului Bayes în practică.

    În ciuda faptului că este o abordare foarte simplă, KNN poate produce adesea clasificatori care sunt surprinzător de apropiați de clasificatorul optim Bayes.,

    — pagina 39, O Introducere în învățarea Statistică cu aplicații în R, 2017.

    Lectură suplimentară

    această secțiune oferă mai multe resurse pe această temă dacă doriți să aprofundați.

    Mesaje

    • O Introducere Blând la Maxim a Posteriori (MAP) pentru Masina de Învățare
    • O Introducere sumară în Teorema Bayes pentru Masina de Învățare
    • Cum de a Dezvolta un Naiv Bayes Clasificator de la Zero în Python

    Carti

    • Secțiunea 6.7 Bayes Optimale Clasificator, Masina de Învățare, 1997.
    • secțiunea 2.4.,2 Bayes eroare și zgomot, fundații de învățare mașină, ediția a 2-a, 2018.
    • secțiunea 2.2.3 setarea de clasificare, o introducere în învățarea Statistică cu aplicații în R, 2017.
    • Teoria informației, inferență și algoritmi de învățare, 2003.

    lucrări

    • multistrat Perceptron ca o aproximare a unei funcții discriminante optime Bayes, 1990.
    • Bayes Optimal Multilabel Classification via Probabilistic Classifier Chains, 2010.
    • restricted bayes optimal classifiers, 2000.
    • Bayes clasificator și Bayes eroare, 2013.,

    rezumat

    În acest post, ați descoperit clasificatorul optim Bayes pentru a face cele mai exacte predicții pentru noi instanțe de date.mai exact, ați învățat:

    • Teorema Bayes oferă o modalitate principială de calcul a probabilităților condiționale, numită probabilitate posterioară.
    • Maxim a Posteriori este un cadru probabilistic care găsește cea mai probabilă ipoteză care descrie setul de date de formare.,clasificatorul optimal Bayes este un cadru probabilistic care găsește cea mai probabilă predicție folosind datele de instruire și spațiul ipotezelor pentru a face o predicție pentru o nouă instanță de date.

    aveți întrebări?
    puneți întrebările în comentariile de mai jos și voi face tot posibilul pentru a răspunde.

    ia un mâner pe probabilitate pentru Machine Learning!

    Dezvoltați-vă înțelegerea probabilității

    …,cu doar câteva linii de cod python

    Descoperiți cum în noul meu Ebook:
    probabilitate pentru Machine Learning

    Acesta oferă tutoriale de auto-studiu și proiecte end-to-end pe:
    Teorema Bayes, optimizare Bayesian, distribuții, probabilitate maximă, Cross-entropie, calibrarea modele
    și mult mai mult…

    în cele din urmă valorificați incertitudinea în proiectele dvs.

    săriți academicienii. Doar Rezultate.Vezi ce este în interiorul

    Tweet Share Share

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *