Bedingte Entropie

Bedingte Entropie is in da Informationstheorie a Maß fia de „Ungewissheit“ iwan Weat vo oana Zuafoisvariablen $X$, de wo vableibt, nachdem as Ergebnis vo oana andan Zufoisvariablen $Y$ bekannt wead. De bedingte Entropie wead $H(X|Y)$ gschriem und hod oan Weat zwischen 0 und $H(X)$, vo da urspringlichn Entropie von $X$. Sie wead in da gleichn Maßeinheit wia de Entropie gmessn.

Speziej hod sie an Weat 0, wenn aus $Y$ da Weat vo $X$ funktional bestimmt weadn ko und an Wert $H(X)$, wenn $X$ und $Y$ stochastisch unabhängig san.

Definition

Wenn $X$ a diskrete Zufoisvariable und $M$ ia Weatevoarat is, d. h. $M$ is a hextns obzejbore Menge mit $P(X\in M)=1$ ($X$ soi jeds Element vo $M$ mit ned negativa Woascheinlichkeit onehma), dann is de Entropie vo $X$ duach

$H(X):=-\sum _{x\in M}P(X=x){\log }_{b}P(X=x)$

definiad, wo fia $b$ tipischaweis de Weate 2 (Bit) oda e (Nat) fia de entsprechendn Einheitn ognumma wean.

Wenn owa $A$ a Ereignis mit $P(A)>0$ is, dann definiad ma de bedingte Entropie vo $X$ gegem $A$ duach Ersetzn vo da Woarscheinlichkeit duach de bedingte Woarscheinlichkeit, d. h.

$H(X|A):=-\sum _{x\in M}P(X=x|A){\log }_{b}P(X=x|A)$.

Etz sei $Y$ a diskrete Zufoisvariable mit Weatevoarat $L$. Dann is de bedingte Entropie vo $X$ gegem $Y$ definiad ois gewichtetes Mittl der bedingten Entropien von $X$ gegeben den Ereignissen $Y=y$ für $y\in L$, d. h.

$H(X|Y):=\sum _{y\in L:P(Y=y)>0}P(Y=y)H(X|Y=y)$.

Auf hehara Abstraktionsebene handeltsa si bei $H(X)$ um an Erwortungswert vo da Informationsfunktion $I_X(x):={\log }_{b}P(X=x|A)$ und bei $H(X|Y)$ um de bedingte Erwortung vo da Informationsfunktion $I_X$ in Bezug af de vo $Y$ afgspanntn $\sigma$-Algebra.