Gaan na inhoud

Gesamentlike entropie

in Wikipedia, die vrye ensiklopedie
'n Misleidende[1] Venn diagram wat optel- en aftrekkingsverwantskappe toon tussen verskeie inligtingsmaatstawwe wat met gekorreleerde veranderlikes X en Y geassosieer word. Die area wat deur beide sirkels vervat is, is die gesamentlike entropie H(X,Y). Die sirkel aan die linkerkant (rooi en violet) is die individuele entropie H(X), waar die rooi die voorwaardelike entropie H(X|Y) is. Die sirkel aan die regterkant (blou en violet) is H(Y), waar blou H(Y|X) is. Die violet is die wedersydse inligting I(X;Y).

In Inligtingsteorie, is Gesamentlike entropie 'n maatstaf van die onsekerheid wat verband hou met 'n stel van ewekansige veranderlike.[2]

Definisie

[wysig | wysig bron]

Die gesamentlike Shannon entropie (in bisse) van twee diskrete ewekansige veranderlike en met beelde en word gedefinieer as[3]:16


waar en is besondere waardes van en , onderskeidelik, is die gesamentlike waarskynlikheid van hierdie waardes wat saam voorkom, en word gedefinieer as 0 as .

Vir meer as twee ewekansige veranderlikes brei die uit na

 

waar is besondere waardes van , onderskeidelik, is die waarskynlikheid dat hierdie waardes saam voorkom, en word gedefinieer as 0 as .

Verwysings

[wysig | wysig bron]
  1. D.J.C. Mackay (2003). Information theory, inferences, and learning algorithms. Bibcode:2003itil.book.....M.:141
  2. Theresa M. Korn; Korn, Granino Arthur (Januarie 2000). Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. ISBN 0-486-41147-8.
  3. Thomas M. Cover; Joy A. Thomas (18 Julie 2006). Elements of Information Theory. Hoboken, New Jersey: Wiley. ISBN 0-471-24195-4.