Entropia informațională

Entropia informațională măsoară incertitudinea asociată cu o variabilă aleatoare.

Această măsură indică și cantitatea de informație conținută într-un mesaj, exprimată de obicei în biți. Când este exprimată în biți, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informația.

Conceptul a fost introdus de Claude Shannon în lucrarea sa din 1948 „O teorie matematică a comunicației”.

x = \begin{pmatrix} 0 & 1 & 2 & 3 & ... & n \\ p_0 & p_1 & p_2 & p_3 & ... & p_n \\ \end{pmatrix}

H(x) = - \sum_{i=0}^n p_i*log_2 p_i

x = \begin{pmatrix} 1 & 2 & 3 & 4 & 5 & 6 \\ p_0 & p_1 & p_2 & p_3 & ... & p_n \\ \end{pmatrix}

Exemplu:

Entropia unui mesaj aleator în limba engleză = 26 caractere (litere mici)

Probabilitatea literei p(a) = 1/26, p(b) = 1/26, ... p(z) = 1/26 => H(x) = 4.7 biți <= entropia maximă

Pe baza unor lucrări de beletristică poți observa frecvența fiecărei litere => modificare p(a), p(b), p(c), ... p(z) => H(X) = 2.62

Incertitudinea se diminuează pe măsură ce aplici mai multe reguli.

Exerciții

Să se determine cantitatea medie de informație obținută în urma aruncării unui zar, când:

zarul este echilibrat

X = \begin{pmatrix} 1 & 2 & 3 & 4 & 5 & 6 \\ \frac{1}{6} & \frac{1}{6}& \frac{1}{6}& \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \end{pmatrix}

H(X) = - \sum_{i=1}^6 p_i*log_2 p_i

H(X) = -\frac{1}{6} *log_2\frac{1}{6} + \frac{1}{6} *log_2\frac{1}{6}+\frac{1}{6} *log_2\frac{1}{6}+\frac{1}{6} *log_2\frac{1}{6}+\frac{1}{6} *log_2\frac{1}{6}+\frac{1}{6} *log_2\frac{1}{6}

= - 6 * \frac{1}{6} * log_2\frac{1}{6} = - \frac{lg\frac{1}{6}}{lg2} = 2,584 biți

Formule folosite mai sus:

1) Formula logaritm

log_ax = y

a^y = x

2) Proprietate logaritmi

log_{10}x = lgx

3) formula de schimbare a bazei logaritmului

log_ab = \frac{log_cb}{log_ca} = \frac{lg b}{lg a}

zarul prezintă următoarele probabilități de apariție a fețelor:
- p(1)=1/2 ~50%
- p(2)=1/4 ~25%
- p(3)=1/8 ~12,5%
- p(4)=1/16 ~ 6.25%
- p(5)=1/32 ~3.125%
- p(6)=1/32 ~3.125%

X = \begin{pmatrix} 1 & 2 & 3 & 4 & 5 & 6 \\ \frac{1}{2} & \frac{1}{4}& \frac{1}{8}& \frac{1}{16} & \frac{1}{32} & \frac{1}{32} \\ \end{pmatrix}

H(X) = - \sum_{i=1}^6 p_i*log_2 p_i

H(X) = -\frac{1}{2} *log_2\frac{1}{2} + \frac{1}{4} *log_2\frac{1}{4}+\frac{1}{8} *log_2\frac{1}{8}+\frac{1}{16} *log_2\frac{1}{16}+\frac{1}{32} *log_2\frac{1}{32}+\frac{1}{32} *log_2\frac{1}{32}

H(X) = 1.937 biți

Incertitudinea s-a diminuat față de exemplul precendent.

Ce se întamplă când am un eveniment sigur, adică cu p(i) = 1?

Proprietăți:

Entropia informațională este maximă (nu e limitată superior) când nu am nici cea mai mică idee de ar putea să se întămple, probabilitatea evenimentelor este echiprobabilă (toate evenimentele au p(i) = 1/26 sau p(i) = 1/6)
Entropia informațională este minimă (0) atunci când evenimentul este sigur

131KB

Proprietati_entropie.pdf

pdf