La derivarea formulei probabilitate deplină s-a presupus că probabilitățile ipotezelor sunt cunoscute înainte de experiment. Formula lui Bayes permite reevaluarea ipotezelor inițiale în lumina noilor informații despre eveniment s-a întâmplat. Prin urmare, formula Bayes se numește formula de rafinare a ipotezei.

Teorema (formula Bayes). Dacă evenimentul poate apărea doar cu una dintre ipoteze
, care formează grup complet evenimente, apoi probabilitatea ipotezelor, cu condiția ca evenimentul întâmplat, se calculează prin formula

,
.

Dovada.

Formula Bayes sau abordarea bayesiană a evaluării ipotezelor joacă rol importantîn economie, pentru că face posibilă corectarea deciziilor manageriale, estimărilor unor parametri necunoscuți ai distribuției caracteristicilor studiate în analiza statistică etc.

Exemplu. Lămpile electrice sunt fabricate în două fabrici. Prima fabrică produce 60% din numărul total de lămpi electrice, a doua - 40%. Produsele primei fabrici conțin 70% din lămpi standard, a doua - 80%. Magazinul primește produse de la ambele fabrici. Becul cumpărat din magazin s-a dovedit a fi standard. Găsiți probabilitatea ca lampa să fi fost fabricată în prima fabrică.

Să notăm starea problemei, introducând notația corespunzătoare.

Dat: eveniment este că lampa este standard.

Ipoteză
este că lampa este fabricată la prima fabrică

Ipoteză
este că lampa este fabricată la a doua fabrică

Găsi
.

Soluţie.

5. Teste independente repetate. formula Bernoulli

Luați în considerare schema teste independente sau Schema Bernoulli, care are o valoare științifică importantă și diverse aplicații practice.

Lasă-l să fie produs teste independente, în fiecare dintre care poate apărea un eveniment .

Definiție. Teste numitindependent , dacă în fiecare dintre ele evenimentul

, indiferent dacă evenimentul a apărut sau nu a apărut
în alte încercări.

Exemplu. Pe bancul de testare au fost puse 20 de lămpi cu incandescență, care sunt testate sub sarcină timp de 1000 de ore. Probabilitatea ca o lampă să treacă testul este de 0,8 și nu depinde de ceea ce s-a întâmplat cu celelalte lămpi.

În acest exemplu, testul se referă la verificarea capacității lămpii de a rezista la o sarcină timp de 1000 de ore. Deci numărul de încercări este
. În fiecare studiu individual, sunt posibile doar două rezultate:

Definiție. O serie de teste independente repetate, în fiecare dintre ele un eveniment
apare cu aceeași probabilitate
, independent de numărul de test, este numitSchema Bernoulli.

Probabilitatea evenimentului opus desemna
și, după cum sa arătat mai sus,

Teorema. În condițiile schemei Bernoulli, probabilitatea ca la eveniment de testare independent va aparea
ori, este determinat de formula

Unde
numărul de teste independente efectuate;

numărul de apariții ale evenimentului
;

probabilitatea producerii unui eveniment
într-un proces separat;

probabilitatea ca un eveniment să nu se producă
într-un proces separat;

Scurtă teorie

Dacă un eveniment are loc numai dacă are loc unul dintre evenimentele care formează un grup complet de evenimente incompatibile, atunci acesta este egal cu suma produselor probabilităților fiecăruia dintre evenimente și portofelul de probabilitate condiționată corespunzător.

În acest caz, evenimentele se numesc ipoteze, iar probabilitățile se numesc a priori. Această formulă se numește formula probabilității totale.

Formula Bayes este utilizată în rezolvarea problemelor practice, atunci când s-a produs un eveniment care apare împreună cu oricare dintre evenimentele care formează un grup complet de evenimente și este necesară efectuarea unei reevaluări cantitative a probabilităților ipotezelor. Sunt cunoscute probabilitățile a priori (înainte de experiență). Este necesar să se calculeze probabilități a posteriori (după experiență), adică. În esență, trebuie să găsiți probabilitățile condiționate. Formula Bayes arată astfel:

Pagina următoare tratează problema de pe .

Exemplu de rezolvare a problemei

Condiția sarcinii 1

În fabrică, mașinile 1, 2 și 3 produc 20%, 35% și, respectiv, 45% din toate piesele. În produsele lor, defectul este respectiv 6%, 4%, 2%. Care este probabilitatea ca un articol selectat aleatoriu să fie defect? Care este probabilitatea ca acesta să fi fost produs: a) de către mașina 1; b) mașina 2; c) mașina 3?

Rezolvarea problemei 1

Indicați prin evenimentul că produsul standard s-a dovedit a fi defect.

Un eveniment poate avea loc numai dacă are loc unul dintre cele trei evenimente:

Produsul este produs la mașina 1;

Produsul este produs la mașina 2;

Produsul este produs la mașina 3;

Să scriem probabilitățile condiționate:

Formula probabilității totale

Dacă un eveniment poate avea loc numai atunci când are loc unul dintre evenimentele care formează un grup complet de evenimente incompatibile, atunci probabilitatea evenimentului este calculată prin formula

Folosind formula probabilității totale, găsim probabilitatea unui eveniment:

Formula Bayes

Formula lui Bayes vă permite să „rearanjați cauza și efectul”: conform fapt cunoscut eveniment pentru a calcula probabilitatea ca acesta să fi fost cauzat de o cauză dată.

Probabilitatea ca un articol defect să fi fost produs la mașina 1:

Probabilitatea ca un articol defect să fi fost produs la mașina 2:

Probabilitatea ca un articol defect să fi fost produs la mașina 3:

Condiția sarcinii 2

Grupul este format din 1 elev excelent, 5 elevi buni și 14 elevi mediocri. Un elev excelent răspunde la 5 și 4 cu probabilitate egală, un elev bun răspunde la 5, 4 și 3 cu probabilitate egală, iar un elev mediocru răspunde la 4, 3 și 2 cu probabilitate egală. Un elev selectat aleatoriu a răspuns 4. Care este probabilitatea ca un elev mediocru să fie numit?

Rezolvarea problemei 2

Ipoteze și probabilități condiționate

Sunt posibile următoarele ipoteze:

Excelentul elev a răspuns;

A răspuns bine;

– a răspuns elev mediocru;

Permite evenimentului - student să obțină 4.

Probabilități condiționate:

Răspuns:

Mediu costul soluției munca de control 700 - 1200 de ruble (dar nu mai puțin de 300 de ruble pentru întreaga comandă). Prețul este puternic influențat de urgența deciziei (de la zile la câteva ore). Costul ajutorului online la examen / test - de la 1000 de ruble. pentru soluția de bilet.

Aplicația poate fi lăsată direct în chat, după ce a aruncat în prealabil starea sarcinilor și informându-vă despre termenele limită pentru rezolvarea acesteia. Timpul de răspuns este de câteva minute.

Formula Bayes

teorema lui Bayes- una dintre principalele teoreme ale teoriei probabilităților elementare, care determină probabilitatea ca un eveniment să se producă în condițiile în care pe baza observațiilor se cunosc doar unele informații parțiale despre evenimente. Conform formulei Bayes, puteți recalcula mai precis probabilitatea, ținând cont ca înainte informatii cunoscute, precum și noi observații.

„Sens fizic” și terminologie

Formula lui Bayes vă permite să „rearanjați cauza și efectul”: având în vedere faptul cunoscut al unui eveniment, calculați probabilitatea ca acesta să fi fost cauzat de o cauză dată.

Evenimentele care reflectă acțiunea „cauzelor” în acest caz sunt de obicei numite ipoteze, pentru ca sunt presupus evenimentele care au condus la aceasta. Se numește probabilitatea necondiționată a validității unei ipoteze a priori(Cât de probabilă este cauza? deloc), și condiționat - ținând cont de faptul evenimentului - a posteriori(Cât de probabilă este cauza? s-a dovedit a lua în considerare datele evenimentului).

Consecinţă

O consecință importantă a formulei Bayes este formula pentru probabilitatea totală a unui eveniment în funcție de mai multe ipoteze inconsistente ( si numai de la ei!).

- probabilitatea producerii evenimentului B, în funcție de un număr de ipoteze A i dacă se cunosc gradele de fiabilitate ale acestor ipoteze (de exemplu, măsurate experimental);

Derivarea formulei

Dacă un eveniment depinde numai de cauze A i, atunci dacă s-a întâmplat, înseamnă că unele dintre motive s-au întâmplat în mod necesar, i.e.

Prin formula Bayes

transfer P(B) în dreapta, obținem expresia dorită.

Metoda de filtrare a spamului

O metodă bazată pe teorema lui Bayes a fost aplicată cu succes în filtrarea spam-ului.

Descriere

La antrenamentul filtrului, pentru fiecare cuvânt întâlnit în litere, „greutatea” acestuia este calculată și stocată - probabilitatea ca o literă cu acest cuvânt să fie spam (în cel mai simplu caz, conform definiției clasice a probabilității: „apariții în spam / aparițiile tuturor”).

La verificarea unei scrisori nou sosite, probabilitatea ca aceasta să fie spam este calculată conform formulei de mai sus pentru un set de ipoteze. În acest caz, „ipotezele” sunt cuvinte, iar pentru fiecare cuvânt „fiabilitatea ipotezei” -% din acest cuvânt din scrisoare și „dependența evenimentului de ipoteză” P(B | A i) - „greutatea” cuvântului calculată anterior. Adică, „greutatea” literei în acest caz nu este altceva decât „greutatea” medie a tuturor cuvintelor sale.

O scrisoare este clasificată ca „spam” sau „non-spam” în funcție de dacă „greutatea” ei depășește o anumită bară stabilită de utilizator (de obicei, acestea iau 60-80%). După ce se ia o decizie cu privire la o scrisoare, „greutățile” pentru cuvintele incluse în aceasta sunt actualizate în baza de date.

Caracteristică

Această metodă este simplă (algoritmii sunt elementari), convenabilă (vă permite să faceți fără „liste negre” și trucuri artificiale similare), eficientă (după antrenamentul pe un eșantion suficient de mare, reduce până la 95-97% din spam, iar în cazul oricăror erori poate fi recalificat). În general, există toate indicațiile pentru utilizarea sa pe scară largă, ceea ce se întâmplă în practică - aproape toate filtrele moderne de spam sunt construite pe baza ei.

Cu toate acestea, metoda are și un dezavantaj fundamental: acesta pe baza presupunerii, Ce unele cuvinte sunt mai frecvente în spam, în timp ce altele sunt mai frecvente în litere obișnuite , și este ineficientă dacă această ipoteză este falsă. Cu toate acestea, așa cum arată practica, nici măcar o persoană nu este capabilă să determine un astfel de spam „prin ochi” - numai după ce a citit scrisoarea și a înțeles sensul acesteia.

Un alt dezavantaj, nu fundamental, asociat implementării - metoda funcționează numai cu text. Știind despre această limitare, spammerii au început să pună informații publicitare în imagine, în timp ce textul din scrisoare fie este absent, fie nu are sens. Față de aceasta, trebuie să folosiți fie instrumente de recunoaștere a textului (o procedură „costisitoare”, folosită numai atunci când este absolut necesar), fie metode vechi de filtrare - „liste negre” și expresii regulate (deoarece astfel de litere au adesea o formă stereotipă).

Vezi si

Note

Legături

Literatură

• Byrd Kiwi. Teorema lui Bayes. // Revista Computerra, 24 august 2001
• Paul Graham. Un plan pentru spam. // Site-ul web personal al lui Paul Graham.

Fundația Wikimedia. 2010 .

Vedeți care este „formula Bayes” în alte dicționare:

O formulă care arată astfel: unde a1, A2, ..., An sunt evenimente incompatibile, Schema generală de aplicare a lui F. în. ex.: dacă evenimentul B poate apărea în decomp. condiţiile în care se fac n ipoteze A1, A2, ..., An cu probabilităţi P (A1), ... cunoscute înainte de experiment, ... ... Enciclopedia Geologică

Vă permite să calculați probabilitatea unui eveniment de interes prin probabilitățile condiționate ale acestui eveniment, presupunând anumite ipoteze, precum și probabilitățile acestor ipoteze. Formulare Să fie dat un spațiu de probabilitate și un grup complet în perechi ... ... Wikipedia

Vă permite să calculați probabilitatea unui eveniment de interes prin probabilitățile condiționate ale acestui eveniment, presupunând anumite ipoteze, precum și probabilitățile acestor ipoteze. Formulare Să fie dat un spațiu de probabilitate și un grup complet de evenimente, cum ar fi ... ... Wikipedia

- (sau formula lui Bayes) una dintre principalele teoreme ale teoriei probabilităților, care vă permite să determinați probabilitatea ca un eveniment (ipoteză) să fi avut loc în prezența doar a unor dovezi indirecte (date) care pot fi inexacte... Wikipedia

Teorema lui Bayes este una dintre principalele teoreme ale teoriei probabilităților elementare, care determină probabilitatea ca un eveniment să se producă în condițiile în care doar unele informații parțiale despre evenimente sunt cunoscute pe baza observațiilor. Conform formulei Bayes, puteți ... ... Wikipedia

Bayes, Thomas Thomas Bayes Reverendul Thomas Bayes Data nașterii: 1702 (1702) Locul nașterii ... Wikipedia

Thomas Bayes Reverendul Thomas Bayes Data nașterii: 1702 (1702) Locul nașterii: Londra ... Wikipedia

Inferența bayesiană este una dintre metodele de inferență statistică, în care formula Bayes este utilizată pentru a rafina estimările probabilistice ale adevărului ipotezelor atunci când apar dovezi. Utilizarea actualizării bayesiene este deosebit de importantă în ... ... Wikipedia

Doriți să îmbunătățiți acest articol?: găsiți și furnizați note de subsol pentru referințe la surse autorizate care confirmă ceea ce a fost scris. Punând note de subsol, faceți indicații mai precise ale surselor. Pere ... Wikipedia

Se vor trăda deținuții unul pe altul, urmând propriile interese egoiste, sau vor rămâne tăcuți, reducând astfel la minimum durata totală a termenului? Dilema prizonierului (ing. Dilema prizonierului, denumirea de „dilema” este mai puțin folosită... Wikipedia

Cărți

• Teoria probabilității și statistica matematică în sarcini: Peste 360 ​​de sarcini și exerciții, Borzykh D.. Manualul propus conține sarcini diferite niveluri dificultăți. Cu toate acestea, accentul principal este pus pe sarcini de complexitate medie. Acest lucru este făcut în mod intenționat pentru a încuraja elevii să...

La derivarea formulei probabilității totale, s-a presupus că evenimentul A, a cărei probabilitate urma să fie determinată, s-ar putea întâmpla cu unul dintre evenimente H 1 , N 2 , ... , H n, formând un grup complet de evenimente incompatibile în perechi. Probabilitățile acestor evenimente (ipoteze) erau cunoscute dinainte. Să presupunem că a fost efectuat un experiment, în urma căruia evenimentul A a venit. Acest Informații suplimentare vă permite să reevaluaţi probabilităţile ipotezelor Bună , având calculat P(Hi/A).

sau, folosind formula probabilității totale, obținem

Această formulă se numește formula Bayes sau teorema ipotezei. Formula lui Bayes vă permite să „revizuiți” probabilitățile ipotezelor după ce devine rezultat cunoscut experiența care a dus la eveniment A.

Probabilități Р(Н i) sunt probabilitățile a priori ale ipotezelor (au fost calculate înainte de experiment). Probabilitățile P(H i /A) sunt probabilitățile a posteriori ale ipotezelor (se calculează după experiment). Formula Bayes vă permite să calculați probabilitățile posterioare din probabilitățile lor anterioare și din probabilitățile condiționate ale evenimentului A.

Exemplu. Se știe că 5% din toți bărbații și 0,25% dintre toate femeile sunt daltonici. O persoană aleasă aleatoriu după numărul cardului medical suferă de daltonism. Care este probabilitatea ca acesta să fie bărbat?

Soluţie. Eveniment A Persoana este daltonică. Spațiul evenimentelor elementare pentru experiment - o persoană este selectată după numărul cardului medical - Ω = ( H 1 , N 2 ) constă din 2 evenimente:

H 1 - este selectat un bărbat,

H 2 - este selectată o femeie.

Aceste evenimente pot fi alese ca ipoteze.

În funcție de starea problemei (alegere aleatorie), probabilitățile acestor evenimente sunt aceleași și egale cu P(H 1 ) = 0.5; P(H 2 ) = 0.5.

În acest caz, probabilitățile condiționate ca o persoană să sufere de daltonism sunt egale, respectiv:

TIGAIE 1 ) = 0.05 = 1/20; TIGAIE 2 ) = 0.0025 = 1/400.

Deoarece se știe că persoana selectată este daltonică, adică evenimentul a avut loc, folosim formula Bayes pentru a reevalua prima ipoteză:

Exemplu. Sunt trei cutii identice. Prima cutie conține 20 de bile albe, a doua cutie conține 10 bile albe și 10 negre, iar a treia cutie conține 20 de bile negre. Dintr-o cutie aleasa la intamplare se extrage o bila alba. Calculați probabilitatea ca mingea să fie extrasă din prima casetă.

Soluţie. Notează prin A eveniment - apariția unei mingi albe. Se pot face trei ipoteze (ipoteze) cu privire la alegerea casetei: H 1 ,H 2 , H 3 - selectarea primei, a doua și, respectiv, a treia casetă.

Deoarece alegerea oricăreia dintre casete este la fel de posibilă, probabilitățile ipotezelor sunt aceleași:

P(H 1 )=P(H 2 )=P(H 3 )= 1/3.

În funcție de starea problemei, probabilitatea de a extrage o minge albă din prima casetă

Probabilitatea de a extrage o minge albă din a doua casetă

Probabilitatea de a extrage o minge albă din a treia casetă

Găsim probabilitatea dorită folosind formula Bayes:

Repetarea testelor. formula Bernoulli.

Există n încercări, în fiecare dintre ele evenimentul A poate să apară sau nu, iar probabilitatea evenimentului A în fiecare încercare individuală este constantă, de exemplu. nu se schimba de la experienta la experienta. Știm deja cum să găsim probabilitatea unui eveniment A într-un experiment.

De interes deosebit este probabilitatea de apariție a unui anumit număr de ori (m ori) a evenimentului A în n experimente. astfel de probleme sunt ușor de rezolvat dacă testele sunt independente.

Def. Sunt numite mai multe teste independent față de evenimentul A dacă probabilitatea evenimentului A în fiecare dintre ele nu depinde de rezultatele altor experimente.

Probabilitatea P n (m) de apariție a evenimentului A de exact de m ori (neapariție de n-m ori, eveniment ) în aceste n încercări. Evenimentul A apare într-o varietate de secvențe de m ori).

- Formula lui Bernoulli.

Următoarele formule sunt evidente:

P n (m Mai puțin k ori în n încercări.

P n (m>k) = P n (k+1) + P n (k+2) +…+ P n (n) - probabilitatea de apariție a evenimentului A Mai mult k ori în n încercări.

Cine este Bayes? Și ce legătură are cu managementul? – poate fi urmată de o întrebare destul de corectă. Deocamdată, credeți-mă pe cuvânt: acest lucru este foarte important! .. și interesant (conform macar, mie).

În ce paradigmă operează majoritatea managerilor: dacă observ ceva, ce concluzii pot trage din el? Ce învață Bayes: ce trebuie să fie de fapt pentru ca eu să observ acest ceva? Așa se dezvoltă toate științele și despre asta scrie (citez din memorie): o persoană care nu are o teorie în cap se va sfii de la o idee la alta sub influența diverselor evenimente (observații). Nu degeaba se spune: nu există nimic mai practic decât o teorie bună.

Un exemplu din practică. Subordonatul meu greșește, iar colegul meu (șeful altui departament) spune că ar fi necesar să se exercite o influență managerială asupra angajatului neglijent (cu alte cuvinte, pedepsi/cert). Și știu că acest angajat face 4-5 mii de operațiuni de același tip pe lună, iar în acest timp nu face mai mult de 10 greșeli. Simți diferența în paradigmă? Colegul meu reactioneaza la observatie, iar eu stiu a priori ca un angajat face un anumit numar de greseli, asa ca alta nu a afectat aceste cunostinte... Acum, daca la sfarsitul lunii se dovedeste ca exista, pt. exemplu, 15 astfel de erori! .. Acesta va deveni deja un motiv pentru a investiga cauzele nerespectării standardelor.

Sunteți convins de importanța abordării bayesiene? Intrigat? Așa sper". Și acum o muscă în unguent. Din nefericire, ideile bayesiene sunt rareori date din prima. Am avut sincer ghinion, căci am făcut cunoștință cu aceste idei prin literatura populară, după ce am citit că au rămas multe întrebări. Când plănuiam să scriu o notă, am adunat tot ceea ce am subliniat anterior conform lui Bayes și am studiat, de asemenea, ceea ce scriu ei pe Internet. Vă prezint cea mai bună presupunere a mea despre subiect. Introducere în Probabilitatea Bayesiană.

Derivarea teoremei lui Bayes

Luați în considerare următorul experiment: numim orice număr situat pe segment și fixăm când acest număr este, de exemplu, între 0,1 și 0,4 (Fig. 1a). Probabilitatea acestui eveniment este egală cu raportul dintre lungimea segmentului și lungimea totală a segmentului, cu condiția ca apariția numerelor pe segment echiprobabil. Din punct de vedere matematic, acest lucru poate fi scris p(0,1 <= X <= 0,4) = 0,3, или кратко R(X) = 0,3, unde R- probabilitate, X este o variabilă aleatorie în intervalul , X este o variabilă aleatoare în intervalul . Adică, probabilitatea de a atinge segmentul este de 30%.

Orez. 1. Interpretarea grafică a probabilităților

Acum luați în considerare pătratul x (Fig. 1b). Să presupunem că trebuie să numim perechi de numere ( X, y), fiecare dintre ele mai mare decât zero și mai mic decât unu. Probabilitatea ca X(primul număr) va fi în cadrul segmentului (zona albastră 1), egal cu raportul dintre aria zonei albastre și aria întregului pătrat, adică (0,4 - 0,1 ) * (1 - 0) / (1 * 1) = 0, 3, adică același 30%. Probabilitatea ca y este în interiorul segmentului (zona verde 2) este egal cu raportul dintre suprafața zonei verzi și suprafața întregului pătrat p(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.

Ce se poate învăța despre valori în același timp XȘi y. De exemplu, care este probabilitatea ca ambele XȘi y sunt în segmentele date corespunzătoare? Pentru a face acest lucru, trebuie să calculați raportul dintre aria domeniului 3 (intersecția dungilor verzi și albastre) și aria întregului pătrat: p(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Acum să presupunem că vrem să știm care este probabilitatea ca y este în intervalul dacă X este deja în gamă. Adică, de fapt, avem un filtru și când numim perechi ( X, y), apoi aruncăm imediat acele perechi care nu îndeplinesc condiția de găsire Xîntr-un interval dat, iar apoi din perechile filtrate numărăm cele pentru care y satisface condiţia noastră şi consideră probabilitatea ca raport al numărului de perechi pentru care y se află în segmentul de mai sus la numărul total de perechi filtrate (adică pentru care X se află în segment). Putem scrie această probabilitate ca p(Y|X la X lovit în rază”. Evident, această probabilitate este egală cu raportul dintre zona zonei 3 și zona zonei albastre 1. Zona zonei 3 este (0,4 - 0,1) * (0,7 - 0,5) = 0,06 și zona zonei albastre 1 ( 0,4 - 0,1) * (1 - 0) = 0,3, atunci raportul lor este 0,06 / 0,3 = 0,2. Cu alte cuvinte, probabilitatea de a găsi y pe segment, cu condiția ca X aparține segmentului p(Y|X) = 0,2.

În paragraful anterior, am formulat de fapt identitatea: p(Y|X) = p(X, Y) /p( X). Se scrie: „probabilitate de lovire laîn gamă, cu condiţia ca X lovirea în interval este egală cu raportul dintre probabilitatea de lovire simultană Xîn raza de acţiune şi laîn interval, la probabilitatea de a lovi Xîn rază”.

Prin analogie, luați în considerare probabilitatea p(X|Y). Sunăm cupluri X, y) și filtrează pe cele pentru care y se situează între 0,5 și 0,7, atunci probabilitatea ca X este în segment cu condiția ca y aparține segmentului este egal cu raportul dintre suprafața zonei 3 și zona zonei verzi 2: p(X|Y) = p(X, Y) / p(Y).

Rețineți că probabilitățile p(X, Y) Și p(Y, X) sunt egale și ambele sunt egale cu raportul dintre aria zonei 3 și aria întregului pătrat, dar probabilitățile p(Y|X) Și p(X|Y) nu este egal; în timp ce probabilitatea p(Y|X) este egal cu raportul dintre suprafața zonei 3 și zona 1 și p(X|Y) – domeniul 3 la domeniul 2. De asemenea, rețineți că p(X, Y) este adesea notat ca p(X&Y).

Deci avem două definiții: p(Y|X) = p(X, Y) /p( X) Și p(X|Y) = p(X, Y) / p(Y)

Să rescriem aceste egalități ca: p(X, Y) = p(Y|X)*p( X) Și p(X, Y) = p(X|Y) * p(Y)

Deoarece laturile stângi sunt egale, la fel sunt și cele din dreapta: p(Y|X)*p( X) = p(X|Y) * p(Y)

Sau putem rescrie ultima egalitate ca:

Aceasta este teorema lui Bayes!

Este posibil ca astfel de transformări simple (aproape tautologice) să dea naștere unei teoreme grozave!? Nu te grăbi să tragi concluzii. Să vorbim din nou despre ce avem. A existat o probabilitate inițială (a priori). R(X) că variabila aleatoare X distribuite uniform pe segment se încadrează în interval X. S-a întâmplat un eveniment Y, în urma căreia am obținut probabilitatea a posteriori a aceleiași variabile aleatoare X: R(X|Y), iar această probabilitate diferă de R(X) prin coeficientul . Eveniment Y numite dovezi, mai mult sau mai puțin care confirmă sau infirmă X. Acest coeficient este uneori numit puterea probei. Cu cât dovezile sunt mai puternice, cu atât faptul observării Y modifică mai mult probabilitatea anterioară, cu atât probabilitatea posterioară diferă mai mult de cea anterioară. Dacă dovezile sunt slabe, posteriorul este aproape egal cu precedentul.

Formula Bayes pentru variabile aleatoare discrete

În secțiunea anterioară, am derivat formula Bayes pentru variabile aleatoare continue x și y definite pe intervalul . Luați în considerare un exemplu cu variabile aleatoare discrete, fiecare luând două valori posibile. În cursul examinărilor medicale de rutină, s-a constatat că la vârsta de patruzeci de ani, 1% dintre femei suferă de cancer la sân. 80% dintre femeile cu cancer obțin rezultate pozitive la mamografie. 9,6% dintre femeile sănătoase obțin și rezultate pozitive la mamografie. În timpul examinării, o femeie din această grupă de vârstă a primit un rezultat pozitiv al mamografiei. Care este probabilitatea ca ea să aibă de fapt cancer la sân?

Cursul raționamentului/calculelor este următorul. Dintre cei 1% dintre bolnavii de cancer, mamografia va da 80% rezultate pozitive = 1% * 80% = 0,8%. Dintre 99% dintre femeile sănătoase, mamografia va da 9,6% rezultate pozitive = 99% * 9,6% = 9,504%. În total, din 10,304% (9,504% + 0,8%) cu rezultate pozitive la mamografie, doar 0,8% sunt bolnavi, iar restul de 9,504% sunt sănătoși. Astfel, probabilitatea ca o femeie cu o mamografie pozitivă să aibă cancer este de 0,8% / 10,304% = 7,764%. Ai crezut că 80% sau cam asa ceva?

În exemplul nostru, formula Bayes ia următoarea formă:

Să vorbim încă o dată despre sensul „fizic” al acestei formule. X este o variabilă aleatoare (diagnostic), care ia următoarele valori: X 1- bolnav si X 2- sănătos; Y– variabilă aleatoare (rezultatul măsurării - mamografie), care ia valorile: Y 1- un rezultat pozitiv și Y2- rezultat negativ; p(X 1)- probabilitatea de îmbolnăvire înainte de mamografie (probabilitate a priori), egală cu 1%; R(Y 1 |X 1 ) – probabilitatea unui rezultat pozitiv dacă pacientul este bolnav (probabilitate condiționată, întrucât trebuie specificată în condițiile sarcinii), egală cu 80%; R(Y 1 |X 2 ) – probabilitatea unui rezultat pozitiv dacă pacientul este sănătos (și probabilitate condiționată), egală cu 9,6%; p(X 2)- probabilitatea ca pacientul să fie sănătos înainte de mamografie (probabilitate a priori), egală cu 99%; p(X 1|Y 1 ) – probabilitatea ca pacientul să fie bolnav, având în vedere un rezultat pozitiv al mamografiei (probabilitate posterioară).

Se poate observa că probabilitatea posterioară (ceea ce căutăm) este proporțională cu probabilitatea anterioară (inițială) cu un coeficient puțin mai complex . Voi sublinia din nou. În opinia mea, acesta este un aspect fundamental al abordării bayesiene. Dimensiunea ( Y) a adăugat o anumită cantitate de informații la cele disponibile inițial (a priori), care ne-au clarificat cunoștințele despre obiect.

Exemple

Pentru a consolida materialul acoperit, încercați să rezolvați mai multe probleme.

Exemplul 1 Sunt 3 urne; in primele 3 bile albe si 1 neagra; în al doilea - 2 bile albe și 3 negre; în a treia - 3 bile albe. Cineva se apropie aleatoriu de una dintre urne și trage 1 minge din ea. Această minge este albă. Găsiți probabilitățile posterioare ca mingea să fie extrasă din prima, a doua, a treia urnă.

Soluţie. Avem trei ipoteze: H 1 = (prima urna selectata), H 2 = (a doua urna selectata), H 3 = (a treia urna selectata). Deoarece urna este aleasă la întâmplare, probabilitățile a priori ale ipotezelor sunt: ​​Р(Н 1) = Р(Н 2) = Р(Н 3) = 1/3.

În urma experimentului a apărut evenimentul A = (din urna selectată a fost scoasă o bilă albă). Probabilități condiționate ale evenimentului A în ipotezele H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. De exemplu, prima egalitate sună astfel: „probabilitatea de a extrage o minge albă dacă se alege prima urna este de 3/4 (deoarece sunt 4 bile în prima urna, iar 3 dintre ele sunt albe)”.

Aplicând formula Bayes, găsim probabilitățile posterioare ale ipotezelor:

Astfel, în lumina informațiilor despre apariția evenimentului A, probabilitățile ipotezelor s-au schimbat: cea mai probabilă a devenit ipoteza H 3 , cea mai puțin probabilă - ipoteza H 2 .

Exemplul 2 Doi trăgători trag în mod independent în aceeași țintă, fiecare trăgând o lovitură. Probabilitatea de a lovi ținta pentru primul trăgător este de 0,8, pentru al doilea - 0,4. După împușcare, a fost găsită o gaură în țintă. Găsiți probabilitatea ca această gaură să aparțină primului trăgător (eliminăm rezultatul (ambele găuri au coincis) ca fiind puțin probabil).

Soluţie. Înainte de experiment, sunt posibile următoarele ipoteze: H 1 = (nici prima și nici a doua săgeată nu vor lovi), H 2 = (ambele săgeți vor lovi), H 3 - (primul trăgător va lovi, iar al doilea nu va lovi). ), H 4 = (primul trăgător nu va lovi, iar al doilea va lovi). Probabilități anterioare ale ipotezelor:

P (H 1) \u003d 0,2 * 0,6 \u003d 0,12; P (H 2) \u003d 0,8 * 0,4 \u003d 0,32; P (H 3) \u003d 0,8 * 0,6 \u003d 0,48; P (H 4) \u003d 0,2 * 0,4 \u003d 0,08.

Probabilitățile condiționate ale evenimentului observat A = (există o gaură în țintă) în aceste ipoteze sunt: ​​P(A|H 1) = P(A|H 2) = 0; P(A|H3) = P(A|H4) = 1

După experiență, ipotezele H 1 și H 2 devin imposibile, iar probabilitățile posterioare ale ipotezelor H 3 și H 4 conform formulei Bayes vor fi:

Bayes împotriva spam-ului

Formula lui Bayes și-a găsit o largă aplicație în dezvoltarea filtrelor de spam. Să presupunem că doriți să instruiți un computer pentru a determina ce e-mailuri sunt spam. Vom începe de la dicționar și combinații de cuvinte folosind estimări bayesiene. Să creăm mai întâi un spațiu de ipoteze. Să avem 2 ipoteze cu privire la orice scrisoare: H A este spam, H B nu este spam, ci o scrisoare normală, necesară.

În primul rând, să ne „antrenăm” viitorul nostru sistem anti-spam. Să luăm toate literele pe care le avem și să le împărțim în două „grămădițe” de 10 litere. Într-una punem scrisori spam și o numim grămada H A, în cealaltă punem corespondența necesară și o numim grămada H B. Acum să vedem: ce cuvinte și expresii se găsesc în spam și e-mailuri necesare și cu ce frecvență? Aceste cuvinte și expresii vor fi numite dovezi și notate cu E 1 , E 2 ... Se pare că cuvintele utilizate în mod obișnuit (de exemplu, cuvintele „ca”, „al tău”) din grămezi H A și H B apar cu aproximativ aceeasi frecventa. Astfel, prezența acestor cuvinte într-o scrisoare nu ne spune nimic despre care grămadă îi aparține (dovezi slabe). Să atribuim acestor cuvinte o valoare neutră a estimării probabilității de „spam”, să spunem, 0,5.

Lasă expresia „engleză conversațională” să apară în doar 10 litere și mai des în e-mailurile spam (de exemplu, în 7 e-mailuri spam din toate 10) decât în ​​cele potrivite (în 3 din 10). Să dăm acestei fraze un scor mai mare de 7/10 pentru spam și un scor mai mic pentru e-mailurile normale: 3/10. În schimb, s-a dovedit că cuvântul „buddy” era mai frecvent în litere normale (6 din 10). Și așa am primit o scrisoare scurtă: „Prietene! Cum e engleza ta vorbita?. Să încercăm să-i evaluăm „spam-ul”. Vom pune estimările generale P(HA), P(H B) ale apartenenței la fiecare grămadă folosind o formulă Bayes oarecum simplificată și estimările noastre aproximative:

P(H A) = A/(A+B), Unde A \u003d p a1 * p a2 * ... * pan, B \u003d p b1 * p b2 * ... * p b n \u003d (1 - p a1) * (1 - p a2) * ... * ( 1 - p an).

Tabelul 1. Evaluarea bayesiană simplificată (și incompletă) a scrisului

Astfel, scrisoarea noastră ipotetică a primit o evaluare a probabilității de apartenență cu accent în direcția „spam”. Putem decide să aruncăm scrisoarea într-una dintre grămezi? Să stabilim pragurile de decizie:

• Vom presupune că litera aparține mormanului H i dacă P(H i) ≥ T.
• Litera nu aparține mormanului dacă P(H i) ≤ L.
• Dacă L ≤ P(H i) ≤ T, atunci nu se poate lua nicio decizie.

Puteți lua T = 0,95 și L = 0,05. Deoarece pentru scrisoarea în cauză și 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Da. Să calculăm scorul pentru fiecare dovadă într-un mod diferit, așa cum a sugerat Bayes. Lasa:

F a este numărul total de e-mailuri spam;

F ai este numărul de litere cu un certificat iîntr-un morman de spam;

F b este numărul total de litere necesare;

F bi este numărul de litere cu un certificat iîntr-un morman de scrisori necesare (relevante).

Atunci: p ai = F ai /F a , p bi = F bi /F b . P(H A) = A/(A+B), P(H B) = B/(A+B), UndeА = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Vă rugăm să rețineți că scorurile cuvintelor dovezi p ai și p bi au devenit obiective și pot fi calculate fără participarea umană.

Tabelul 2. O estimare bayesiană mai precisă (dar incompletă) pentru caracteristicile disponibile dintr-o scrisoare

Am obținut un rezultat destul de cert - cu o marjă mare de probabilitate, litera poate fi atribuită literelor necesare, deoarece P(H B) = 0,997 > T = 0,95. De ce s-a schimbat rezultatul? Pentru că am folosit mai multe informații - am ținut cont de numărul de litere din fiecare dintre grămezi și, apropo, am determinat estimările p ai și p bi mult mai corect. Ele au fost determinate în același mod ca și Bayes însuși, prin calcularea probabilităților condiționate. Cu alte cuvinte, p a3 este probabilitatea ca cuvântul „buddy” să apară în e-mail, având în vedere că e-mailul aparține deja heap-ului de spam H A . Rezultatul nu a întârziat să apară – se pare că putem lua o decizie cu o mai mare certitudine.

Bayes vs fraudă corporativă

O aplicație interesantă a abordării bayesiene a fost descrisă de MAGNUS8.

Proiectul meu actual (IS pentru detectarea fraudei într-o întreprindere de producție) folosește formula Bayes pentru a determina probabilitatea de fraudă (fraudă) în prezența/absența mai multor fapte indirect în favoarea ipotezei posibilității de fraudă. Algoritmul este de auto-învățare (cu feedback), adică. își recalculează coeficienții (probabilitățile condiționate) la confirmarea sau neconfirmarea efectivă a fraudei în timpul verificării de către serviciul de securitate economică.

Probabil că merită să spunem că astfel de metode la proiectarea algoritmilor necesită o cultură matematică destul de ridicată a dezvoltatorului, deoarece cea mai mică eroare în derivarea și/sau implementarea formulelor de calcul va anula și discredita întreaga metodă. Metodele probabilistice sunt vinovate în special de acest lucru, deoarece gândirea umană nu este adaptată să lucreze cu categorii probabiliste și, în consecință, nu există „vizibilitate” și înțelegere a „semnificației fizice” a parametrilor probabilistici intermediari și finali. O astfel de înțelegere există numai pentru conceptele de bază ale teoriei probabilităților și atunci trebuie doar să combinați cu mare atenție și să derivați lucruri complexe conform legile teoriei probabilităților - bunul simț nu va mai ajuta pentru obiectele compuse. Acest lucru, în special, este asociat cu bătălii metodologice destul de serioase care au loc pe paginile cărților moderne despre filosofia probabilității, precum și cu un număr mare de sofisme, paradoxuri și curiozități pe această temă.

O altă nuanță cu care a trebuit să mă confrunt este că, din păcate, aproape tot ce este mai mult sau mai puțin util ÎN PRACTIC pe această temă este scris în engleză. În sursele în limba rusă, există practic doar o teorie binecunoscută cu exemple demonstrative doar pentru cazurile cele mai primitive.

Sunt pe deplin de acord cu ultimul comentariu. De exemplu, Google, când a încercat să găsească ceva de genul cartea „Probabilitatea Bayesiană”, nu a dat nimic inteligibil. Adevărat, el a spus că o carte cu statistici bayesiene a fost interzisă în China. (Profesorul de statistică Andrew Gelman a raportat pe un blog al Universității Columbia că cartea sa, Data Analysis with Regression and Multilevel/Hierarchical Models, a fost interzisă publicării în China. text.”) Mă întreb dacă un motiv similar a dus la absența cărților despre Bayesian. probabilitate în Rusia?

Conservatorismul în procesul de prelucrare a informațiilor umane

Probabilitățile determină gradul de incertitudine. Probabilitatea, atât conform lui Bayes, cât și al intuiției noastre, este pur și simplu un număr între zero și ceea ce reprezintă gradul în care o persoană oarecum idealizată crede că afirmația este adevărată. Motivul pentru care o persoană este oarecum idealizată este că suma probabilităților sale pentru două evenimente care se exclud reciproc trebuie să fie egală cu probabilitatea sa ca oricare dintre aceste evenimente să se producă. Proprietatea aditivității are astfel de implicații încât puțini oameni reali le pot egala pe toate.

Teorema lui Bayes este o consecință banală a proprietății aditivității, de netăgăduit și agreată de toți probabiliștii, bayesieni și de altă natură. O modalitate de a o scrie este următoarea. Dacă P(H A |D) este probabilitatea ulterioară ca ipoteza A să fie după ce valoarea dată D a fost observată, P(H A) este probabilitatea sa anterioară înainte ca valoarea dată D să fie observată, P(D|H A ) este probabilitatea ca a se va observa valoarea dată D, dacă H A este adevărată și P(D) este probabilitatea necondiționată a unei valori date D, atunci

(1) P(H A |D) = P(D|H A) * P(H A) / P(D)

P(D) este cel mai bine gândit ca o constantă de normalizare care face ca probabilitățile posterioare să se adună la unu peste setul exhaustiv de ipoteze care se exclud reciproc care sunt luate în considerare. Dacă trebuie calculat, poate fi așa:

Dar mai des P(D) este eliminat mai degrabă decât numărat. O modalitate convenabilă de a o elimina este de a transforma teorema lui Bayes în forma unei relații probabilitate-cote.

Luați în considerare o altă ipoteză, H B , care se exclud reciproc pentru H A, și răzgândiți-vă despre ea pe baza aceleiași cantități date care v-a răzgândit despre H A. Teorema lui Bayes spune că

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Acum împărțim ecuația 1 la ecuația 2; rezultatul va fi astfel:

unde Ω 1 sunt cotele posterioare în favoarea lui H A în termeni de H B , Ω 0 sunt cotele anterioare, iar L este un număr familiar statisticienilor ca raport al probabilităților. Ecuația 3 este aceeași versiune relevantă a teoremei lui Bayes ca și ecuația 1 și este adesea mult mai utilă în special pentru experimente care implică ipoteze. Susținătorii bayesieni susțin că teorema lui Bayes este o regulă optimă din punct de vedere formal pentru modul de revizuire a opiniilor în lumina noilor date.

Suntem interesați să comparăm comportamentul ideal definit de teorema lui Bayes cu comportamentul real al oamenilor. Pentru a vă face o idee despre ce înseamnă asta, să încercăm un experiment cu tine ca subiect. Această pungă conține 1000 de jetoane de poker. Am două dintre aceste genți, unul cu 700 roșii și 300 albastre, iar celălalt cu 300 roșii și 700 albastre. Am aruncat o monedă pentru a stabili pe care să o folosesc. Astfel, dacă părerile noastre sunt aceleași, probabilitatea dvs. actuală de a extrage o pungă cu mai multe jetoane roșii este de 0,5. Acum, eșantionați aleatoriu, revenind după fiecare simbol. În 12 jetoane, primești 8 roșii și 4 albastre. Acum, pe baza a tot ceea ce știți, care este probabilitatea ca o geantă să vină cu mai multe roșii? Este clar că este mai mare de 0,5. Vă rugăm să nu continuați să citiți până nu ați înregistrat evaluarea.

Dacă arăți ca un subiect tipic, scorul tău se încadrează între 0,7 și 0,8. Dacă am face calculul corespunzător, însă, răspunsul ar fi 0,97. Într-adevăr, este foarte rar ca o persoană căreia nu i s-a arătat anterior influența conservatorismului să vină cu o estimare atât de mare, chiar dacă era familiarizat cu teorema lui Bayes.

Dacă proporția de jetoane roșii din pungă este R, apoi probabilitatea de a obține r jetoane roșii și ( n-r) albastru în n mostre cu returnare - p r (1–p)n–r. Astfel, într-un experiment tipic de pungă și jetoane de poker, dacă HAînseamnă că proporția de jetoane roșii este r AȘi HBînseamnă că cota este RB, atunci raportul de probabilitate:

Atunci când se aplică formula lui Bayes, trebuie luată în considerare doar probabilitatea observației efective și nu probabilitățile altor observații pe care el ar fi putut să le facă, dar nu a făcut-o. Acest principiu are implicații largi pentru toate aplicațiile statistice și non-statistice ale teoremei lui Bayes; este cel mai important instrument tehnic al gândirii bayesiene.

revoluția bayesiană

Prietenii și colegii tăi vorbesc despre ceva numit „teorema lui Bayes” sau „regula bayesiană” sau ceva numit gândire bayesiană. Sunt foarte interesați de asta, așa că intri online și găsești o pagină despre teorema lui Bayes și... Este o ecuație. Și asta-i tot... De ce un concept matematic dă naștere unui asemenea entuziasm în minte? Ce fel de „revoluție bayesiană” are loc în rândul oamenilor de știință și se susține că chiar și abordarea experimentală în sine poate fi descrisă ca fiind cazul său special? Care este secretul pe care îl cunosc adepții lui Bayes? Ce fel de lumină văd ei?

Revoluția bayesiană în știință nu s-a întâmplat deoarece tot mai mulți oameni de știință cognitiv au început brusc să observe că fenomenele mentale au o structură bayesiană; nu pentru că oamenii de știință din toate domeniile au început să folosească metoda bayesiană; ci pentru că știința însăși este un caz special al teoremei lui Bayes; dovezile experimentale sunt dovezi bayesiene. Revoluționarii bayesieni susțin că atunci când faci un experiment și obții dovezi care „susțin” sau „infirma” teoria ta, acea confirmare sau respingere are loc conform regulilor bayesiene. De exemplu, trebuie să ții cont nu doar că teoria ta poate explica fenomenul, ci și că există și alte explicații posibile care pot prezice și acest fenomen.

Anterior, cea mai populară filozofie a științei era vechea filozofie care a fost înlocuită de revoluția bayesiană. Ideea lui Karl Popper că teoriile pot fi complet falsificate, dar niciodată complet confirmate, este un alt caz special de reguli bayesiene; dacă p(X|A) ≈ 1 - dacă teoria face predicții corecte, atunci observația ~X falsifică foarte puternic A. Pe de altă parte, dacă p(X|A) ≈ 1 și observăm X, acest lucru nu suportă teoria foarte mult; o altă condiție B este posibilă, astfel încât p(X|B) ≈ 1, și în care observarea lui X nu dovedește pentru A, ci pentru B. Pentru a observa X confirmând cu siguranță A, ar trebui să știm că p( X|A) ≈ 1 și acel p(X|~A) ≈ 0, pe care nu îl putem ști deoarece nu putem lua în considerare toate explicațiile alternative posibile. De exemplu, când teoria relativității generale a lui Einstein a depășit teoria gravitațională a lui Newton, extrem de verificabilă, a făcut din toate predicțiile teoriei lui Newton un caz special al lui Einstein.

În mod similar, afirmația lui Popper că o idee trebuie să fie falsificabilă poate fi interpretată ca o manifestare a regulii bayesiene despre conservarea probabilității; dacă rezultatul X este o dovadă pozitivă pentru teorie, atunci rezultatul ~X trebuie să falsifice teoria într-o oarecare măsură. Dacă încercați să interpretați atât X, cât și ~X ca „susținând” o teorie, regulile bayesiene spun că este imposibil! Pentru a crește probabilitatea unei teorii, trebuie să o supui unor teste care pot reduce probabilitatea acesteia; aceasta nu este doar o regulă pentru a detecta șarlatani în știință, ci o consecință a teoremei probabilității bayesiene. Pe de altă parte, ideea lui Popper că este nevoie doar de falsificare și nu este necesară nicio confirmare este greșită. Teorema lui Bayes arată că falsificarea este o dovadă foarte puternică în comparație cu confirmarea, dar falsificarea este încă probabilistică în natură; nu este guvernată de reguli fundamental diferite și nu diferă în acest sens de confirmare, așa cum susține Popper.

Astfel constatăm că multe fenomene din științele cognitive, plus metodele statistice folosite de oamenii de știință, plus metoda științifică în sine, sunt toate cazuri speciale ale teoremei lui Bayes. Despre aceasta este revoluția bayesiană.

Bun venit la Conspirația Bayesiană!

Literatură despre probabilitatea bayesiană

2. Laureatul Nobel în economie Kahneman (et al.) descrie o mulțime de aplicații diferite ale lui Bayes într-o carte minunată. Numai în rezumatul meu al acestei cărți foarte mari, am numărat 27 de referințe la numele unui pastor presbiterian. Formule minime. (.. Mi-a plăcut foarte mult. Adevărat, e complicat, multă matematică (și unde fără ea), dar capitole individuale (de exemplu, Capitolul 4. Informații), clar pe subiect. Îi sfătuiesc pe toată lumea. Chiar dacă matematica este dificil pentru tine, citește rândul, sări peste matematică și pescuit după cereale utile...

14. (supliment din 15 ianuarie 2017), un capitol din cartea lui Tony Crilly. 50 de idei despre care trebuie să știi. Matematică.

Fizicianul Richard Feynman, laureat al Premiului Nobel, vorbind despre un filozof cu o îngâmfare deosebit de mare, a spus odată: „Nu filosofia ca știință mă irită deloc, ci fastul care a fost creat în jurul ei. Dacă filozofii ar putea râde de ei înșiși! Dacă ar putea spune: „Eu zic că este așa, dar Von Leipzig a crezut că este diferit și știe și el ceva despre asta”. Dacă și-ar fi amintit să clarifice că era doar a lor .