Naive Bayes algoritmus: Ako funguje s príkladom

Naive Bayes algoritmus je jedným z najjednoduchších a najčastejšie používaných algoritmov pre klasifikáciu v oblasti strojového učenia. Je založený na Bayesovej teórii a predpokladá, že všetky vlastnosti (atribúty) sú nezávislé, čo je dôvod, prečo sa nazýva „naivný“. Tento algoritmus je obzvlášť populárny pre svoje jednoduché pochopenie a rýchlosť vykonávania, aj keď má svoje obmedzenia, keďže predpokladá nezávislosť medzi vlastnosťami, čo nemusí vždy zodpovedať skutočnosti.

Ako Naive Bayes algoritmus funguje

Naive Bayes algoritmus vychádza z Bayesovej vety, ktorá sa používa na určenie pravdepodobnosti určitého javu na základe predpokladanej pravdepodobnosti iných javov. Formálne, Bayesova veta je vyjadrená nasledovne:

$P\left(C\mid X\right)=\frac{P\left(X\mid C\right)\cdot P\left(C\right)}{P\left(X\right)}$P(C∣X)=P(X)P(X∣C)⋅P(C)​

Kde:

• $P\left(C\mid X\right)$P(C∣X) je pravdepodobnosť, že trieda $C$C je daná vstupnými údajmi $X$X.
• $P\left(X\mid C\right)$P(X∣C) je pravdepodobnosť, že vstupné údaje $X$X sa vyskytujú za predpokladu, že trieda je $C$C.
• $P\left(C\right)$P(C) je a priori pravdepodobnosť triedy $C$C.
• $P\left(X\right)$P(X) je a priori pravdepodobnosť vstupných údajov $X$X.

Naive Bayes zjednodušuje túto rovnicu tým, že predpokladá nezávislosť medzi vlastnosťami. To znamená, že:

$P\left(X\mid C\right)=P(X_1,X_2,\dots ,X_n\mid C)={\prod }_{i=1}^{n}P\left(X_i\mid C\right)$P(X∣C)=P(X1​,X2​,…,Xn​∣C)=∏i=1n​P(Xi​∣C)

Kde $X_i$Xi​ sú jednotlivé vlastnosti (atribúty) vstupu $X$X.

Príklad použitia Naive Bayes algoritmu

Predstavme si, že chceme klasifikovať e-maily na základe toho, či sú spam alebo nie. Máme dataset obsahujúci rôzne e-maily, kde každý e-mail je označený ako spam alebo ne-spam a obsahuje rôzne slová. Naším cieľom je predpovedať, či nový e-mail je spam alebo nie na základe slov, ktoré obsahuje.

1. Príprava dát: Vytvoríme dataset so slovami a ich frekvenciou v spam a ne-spam e-mailoch. Napríklad:

Slovo	Spam Frekvencia	Ne-spam Frekvencia
"lacný"	15	2
"drahý"	1	18
"zľava"	12	5
"výlet"	3	22

1. Výpočet pravdepodobností: Na základe tohto datasetu vypočítame pravdepodobnosť, že dané slovo patrí do spam alebo ne-spam kategórie. Povedzme, že máme e-mail, ktorý obsahuje slová „lacný“ a „zľava“. Použijeme Naive Bayes na výpočet pravdepodobnosti, že tento e-mail je spam:

• Pravdepodobnosť, že e-mail je spam:

  $P\left(\text{Spam}\right)=\frac{\text{Po}\check{\text{c}}\text{et spam e-mailov}}{\text{Celkov}\acute{\text{y}}\text{ po}\check{\text{c}}\text{et e-mailov}}$P(Spam)=Celkovyˊ​ pocˇet e-mailovPocˇet spam e-mailov​

• Pravdepodobnosť, že e-mail obsahuje slovo „lacný“ za predpokladu, že je spam:

  $P\left(\text{"lacn}\acute{\text{y}}\text{"}\mid \text{Spam}\right)=\frac{\text{Po}\check{\text{c}}\text{et spam e-mailov obsahuj}\acute{\text{u}}\text{cich „lacn}\acute{\text{y}}\text{“}}{\text{Celkov}\acute{\text{y}}\text{ po}\check{\text{c}}\text{et spam e-mailov}}$P("lacnyˊ​"∣Spam)=Celkovyˊ​ pocˇet spam e-mailovPocˇet spam e-mailov obsahujuˊcich „lacnyˊ​“​

• Pravdepodobnosť, že e-mail obsahuje slovo „zľava“ za predpokladu, že je spam:

  $P\left(\text{"z}\check{\text{l}}\text{ava"}\mid \text{Spam}\right)=\frac{\text{Po}\check{\text{c}}\text{et spam e-mailov obsahuj}\acute{\text{u}}\text{cich „z}\check{\text{l}}\text{ava“}}{\text{Celkov}\acute{\text{y}}\text{ po}\check{\text{c}}\text{et spam e-mailov}}$P("zlˇava"∣Spam)=Celkovyˊ​ pocˇet spam e-mailovPocˇet spam e-mailov obsahujuˊcich „zlˇava“​

• Celková pravdepodobnosť, že e-mail je spam, vzhľadom na obsah:

  $P\left(\text{Spam}\mid \text{"lacn}\acute{\text{y}}\text{", "z}\check{\text{l}}\text{ava"}\right)\propto P\left(\text{"lacn}\acute{\text{y}}\text{"}\mid \text{Spam}\right)\cdot P\left(\text{"z}\check{\text{l}}\text{ava"}\mid \text{Spam}\right)\cdot P\left(\text{Spam}\right)$P(Spam∣"lacnyˊ​", "zlˇava")∝P("lacnyˊ​"∣Spam)⋅P("zlˇava"∣Spam)⋅P(Spam)

1. Predikcia: Po výpočtoch môžeme porovnať pravdepodobnosti a rozhodnúť, či je e-mail spam alebo ne-spam.

Výhody a nevýhody Naive Bayes algoritmu

Výhody:

• Jednoduchosť: Ľahko sa implementuje a rýchlo sa trénuje.
• Rýchlosť: Vykonáva sa rýchlo aj pri veľkých datasetoch.
• Kategorizácia: Vhodný pre textovú analýzu a klasifikáciu textov, ako sú e-maily.

Nevýhody:

• Predpoklad nezávislosti: Skutočné vlastnosti môžu byť závislé, čo môže ovplyvniť presnosť.
• Obmedzená flexibilita: Môže byť menej presný v prípadoch, kde sú vlastnosti silne závislé.

Praktické použitie

Naive Bayes algoritmus je často používaný v aplikáciách ako je analýza sentimentu, rozpoznávanie textu a filtrovanie spamu. Vďaka svojej jednoduchej implementácii a efektivite je veľmi populárny v oblasti strojového učenia a spracovania textu.

2222:Naive Bayes algoritmus je jedným z najjednoduchších a najčastejšie používaných algoritmov pre klasifikáciu v oblasti strojového učenia. Je založený na Bayesovej teórii a predpokladá, že všetky vlastnosti (atribúty) sú nezávislé, čo je dôvod, prečo sa nazýva „naivný“. Tento algoritmus je obzvlášť populárny pre svoje jednoduché pochopenie a rýchlosť vykonávania, aj keď má svoje obmedzenia, keďže predpokladá nezávislosť medzi vlastnosťami, čo nemusí vždy zodpovedať skutočnosti. Tento článok podrobne vysvetľuje, ako algoritmus funguje, poskytuje príklad klasifikácie e-mailov na spam a ne-spam a diskutuje jeho výhody a nevýhody.