Multinomiaalne logistiline regressioon (ingl multinomial logistic regression) on klassifitseerimismeetod enam kui kahe võimaliku diskreetse tulemuse jaoks. See on binaarse logistilise regressiooni üldistus, kus olemasolevate andmete põhjal luuakse mudel selleks, et hinnata erinevatesse võimalikesse klassidesse kuulumise tõenäosust.[1]
Multinoomjaotus on binoomjaotuse üldistus, kus igas üksikus katses on enam kui kaks võimalikku katsetulemust. Olgu võimalikud katsetulemused
ning nende esinemise tõenäosused vastavalt
, kusjuures
ja
. Tõenäosus, et
sõltumatus katses sündmused
toimuvad vastavalt
korda, avaldub valemiga
![{\displaystyle P_{n}\left(y_{1},y_{2},\ldots ,y_{k}\right)={\frac {n!}{y_{1}!\ y_{2}!\ \ldots \ y_{k}!}}\pi _{1}^{y_{1}}\ \pi _{2}^{y_{2}}\ \ldots \ \pi _{k}^{y_{k}}}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/935610232632a65df3b8be6fe2b4811b4ec00f13)
Kuna
, siis on ühe sündmuse toimumiste arv avaldatav teiste kaudu ning kasutusele saab võtta lühema vektori
. Siis avaldub tõenäosusfunktsioon valemiga
![{\displaystyle P_{n}\left(y_{1},\ldots ,y_{k-1}\right)={\frac {n!}{y_{1}!\ \ldots \ y_{k-1}!\left(n-y_{1}-\ldots -y_{k-1}\right)!}}\pi _{1}^{y_{1}}\ \ldots \ \pi _{k-1}^{y_{k-1}}\cdot (1-\pi _{1}-\ldots -\pi _{k-1})^{n-y_{1}-\ldots -y_{k-1}}.}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/ac9ca30c2400c0ecd9f725feef3e77882aebfcf4)
Multinoomjaotuse liikmete
keskväärtus ja dispersioon avalduvad vastavalt
ja
iga
korral.[2][3]
Olgu võimalikud katsetulemused
ning seletavate tunnuste arv
. Binaarse logit-mudeli korral hinnatakse uuritava sündmuse toimumise ja vastandsündmuse toimumise šansi logaritmi
![{\displaystyle \ln {\left({\frac {P(Y=1)}{P(Y=0)}}\right)}=\beta _{0}+\beta _{1}x_{1}+\ldots +\beta _{m}x_{m}.}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/24fa0a60074474cf5c61c1176d6f6d096d41d5d6)
Multinomiaalse mudeli korral vaadeldakse
logit-mudelit, kus igas mudelis hinnatakse sündmuse toimumise ehk mingile kindlale tasemele kuulumise ja baastasemele kuulumise šansi logaritmi.
Valides baastasemeks taseme
, avaldub
-ndale tasemele vastav logit-mudel järgmiselt
![{\displaystyle \ln {\left({\frac {P(Y=r)}{P(Y=k)}}\right)}=\beta _{r_{0}}+\beta _{r_{1}}x_{1}+\ldots +\beta _{r_{m}}x_{m},}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/37803806f04120a86cafdbff7589d8a0ae0744e6)
kus
. Siinkohal tasub tähele panna, et parameetrid
sõltuvad tasemest
ning baastaseme
võib valida vabalt tasemete
hulgast. [2]
Olgu
kõikide võimalike populatsioonide arv nii et
on vaatluste arv
-ndas populatsioonis ja
, kus
on kõigi vaatluste arv. Suurus
tähistab siis iga
-nda populatsiooni vaatluse tõenäosust kuuluda tasemele
. Multinomiaalsest logit-funktsioonist saame siis
![{\displaystyle \ln \left({\frac {\pi _{ir}}{\pi _{ik}}}\right)=\beta _{r0}+\beta _{r1}x_{i1}+\ldots +\beta _{rm}x_{im}.}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/79546b3cfdeba17fae59af58b426bb591e1a118f)
Avaldades eelnevast
ning võttes, et iga
korral
, saame
![{\displaystyle \pi _{ir}={\frac {e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}}{1+\sum _{r=1}^{k-1}e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}}},}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/ef8c571ae654b10ab788bd24059448a9de1bccb0)
kus
ja
[4]
Parameetrite hindamine suurima tõepära meetodil[muuda | muuda lähteteksti]
Olgu
multinoomjaotusest, mille võimalike tasemete arv on
.
![{\displaystyle P_{n_{i}}\left(\mathbf {y_{i}} \right)={\frac {n_{i}!}{y_{i1}!\ \ldots \ y_{iq}!\left(n_{i}-y_{i1}-\ldots -y_{iq}\right)!}}\pi _{i1}^{y_{i1}}\ \ldots \ \pi _{iq}^{y_{iq}}\cdot (1-\pi _{i1}-\ldots -\pi _{iq})^{n_{i}-y_{i1}-\ldots -y_{iq}}.}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/4265b9f4f542d721e2cbf496b79bd64af6a8d7a2)
Kuna jagatises
ei ole hinnatavaid tõenäosusi
, siis võib seda vaadelda konstandina ja suurima tõepära funktsioon on
![{\displaystyle L(\mathbf {\beta } )\simeq \prod _{i=1}^{N}\pi _{i1}^{y_{i1}}\ \ldots \ \pi _{iq}^{y_{iq}}(1-\pi _{i1}-\ldots -\pi _{iq})^{n_{i}-y_{i1}-\ldots -y_{iq}}=\prod _{i=1}^{N}\prod _{r=1}^{q}\left({\frac {\pi _{ir}}{\pi _{ik}}}\right)^{y_{ir}}\cdot \pi _{ik}^{n_{i}}.}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/251739c357e0a92fbe7a88410833cae9b7d23c11)
Asendades
ja
, saame
![{\displaystyle \prod _{i=1}^{N}\prod _{r=1}^{q}e^{y_{ir}\sum _{j=0}^{m}\beta _{rj}x_{ij}}\cdot \left(1+\sum _{r=1}^{q}e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}\right).}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/a97e70b33e6b53e2e367006b6fe13420b755a909)
Suurima tõepära hinnangute leidmiseks on vaja eelnev funktsioon maksimeerida. Kuna logaritm on monotoonne funktsioon, siis piisab selleks leida log-tõepära funktsiooni maksimumkohad. Suurima tõepära funktsioonist naturaallogaritmi võtmisel saame log-tõepära funktsiooni
![{\displaystyle l({\boldsymbol {\beta }})=\sum _{i=1}^{N}\sum _{r=1}^{q}\left(y_{ir}\sum _{j=0}^{m}\beta _{rj}x_{ij}\right)-n_{i}\ln \left(1+\sum _{r=1}^{q}e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}\right).}](http://178.128.105.246/host-https-wikimedia.org/api/rest_v1/media/math/render/svg/e453c37396b93477ac8baa19a0e8ffa94972d589)
Funktsiooni maksimeerimiseks
suhtes, piisab meil leida funktsiooni osatuletised
ning iga
jaoks nullkohad.[4]