> For the complete documentation index, see [llms.txt](https://acristea.gitbook.io/bti-suport-seminar/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://acristea.gitbook.io/bti-suport-seminar/seminar-2/entropia-informationala.md).
# Entropia informațională
**Entropia informațională** măsoară **incertitudinea** asociată cu o variabilă aleatoare.
Această măsură indică și **cantitatea de informație conținută într-un mesaj**, exprimată de obicei în biți. Când este exprimată în biți, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informația.
Conceptul a fost introdus de **Claude Shannon** în lucrarea sa din **1948 *****„O teorie matematică a comunicației”***.
$$
x = \begin{pmatrix}
0 & 1 & 2 & 3 & ... & n \\
p\_0 & p\_1 & p\_2 & p\_3 & ... & p\_n \\
\end{pmatrix}
$$
$$
H(x) = - \sum\_{i=0}^n p\_i\*log\_2 p\_i
$$
$$
x = \begin{pmatrix}
1 & 2 & 3 & 4 & 5 & 6 \\
p\_0 & p\_1 & p\_2 & p\_3 & ... & p\_n \\
\end{pmatrix}
$$
### Exemplu:
Entropia unui mesaj aleator în limba engleză = 26 caractere (litere mici)
Probabilitatea literei p(a) = 1/26, p(b) = 1/26, ... p(z) = 1/26 => H(x) = 4.7 biți <= entropia maximă
Pe baza unor lucrări de beletristică poți observa frecvența fiecărei litere => modificare p(a), p(b), p(c), ... p(z) => H(X) = 2.62
{% hint style="info" %}
Incertitudinea se diminuează pe măsură ce aplici mai multe reguli.
{% endhint %}
## Exerciții
Să se determine cantitatea medie de informație obținută în urma aruncării unui zar, când:
* zarul este echilibrat
$$
X = \begin{pmatrix}
1 & 2 & 3 & 4 & 5 & 6 \\
\frac{1}{6} & \frac{1}{6}& \frac{1}{6}& \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\
\end{pmatrix}
$$
$$
H(X) = - \sum\_{i=1}^6 p\_i\*log\_2 p\_i
$$
$$
H(X) = -\frac{1}{6} \*log\_2\frac{1}{6} + \frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}
$$
$$
\= - 6 \* \frac{1}{6} \* log\_2\frac{1}{6} = - \frac{lg\frac{1}{6}}{lg2} = 2,584 biți
$$
Formule folosite mai sus:
1\) Formula logaritm
$$
log\_ax = y
$$
$$
a^y = x
$$
2\) Proprietate logaritmi
$$
log\_{10}x = lgx
$$
3\) formula de schimbare a bazei logaritmului
$$
log\_ab = \frac{log\_cb}{log\_ca} = \frac{lg b}{lg a}
$$
* zarul prezintă următoarele probabilități de apariție a fețelor:
* p(1)=1/2 \~50%
* p(2)=1/4 \~25%
* p(3)=1/8 \~12,5%
* p(4)=1/16 \~ 6.25%
* p(5)=1/32 \~3.125%
* p(6)=1/32 \~3.125%
$$
X = \begin{pmatrix}
1 & 2 & 3 & 4 & 5 & 6 \\
\frac{1}{2} & \frac{1}{4}& \frac{1}{8}& \frac{1}{16} & \frac{1}{32} & \frac{1}{32} \\
\end{pmatrix}
$$
$$
H(X) = - \sum\_{i=1}^6 p\_i\*log\_2 p\_i
$$
$$
H(X) = -\frac{1}{2} \*log\_2\frac{1}{2} + \frac{1}{4} \*log\_2\frac{1}{4}+\frac{1}{8} \*log\_2\frac{1}{8}+\frac{1}{16} \*log\_2\frac{1}{16}+\frac{1}{32} \*log\_2\frac{1}{32}+\frac{1}{32} \*log\_2\frac{1}{32}
$$
$$
H(X) = 1.937 biți
$$
Incertitudinea s-a diminuat față de exemplul precendent.
{% hint style="warning" %}
Ce se întamplă când am un eveniment sigur, adică cu p(i) = 1?
{% endhint %}
## Proprietăți:
* Entropia informațională este **maximă (nu e limitată superior)** când nu am nici cea mai mică idee de ar putea să se întămple, probabilitatea evenimentelor este echiprobabilă (toate evenimentele au p(i) = 1/26 sau p(i) = 1/6)
* Entropia informațională este **minimă (0)** atunci când evenimentul este sigur
{% file src="/files/6V0GHz5MRX0PsvfSFaGh" %}
## Cantitataea de informație dintr-o imagine
Dimensiune imagine: 1,920 x 1,080 pixels (Full HD)
Imagine alb-negru => fiecare pixel are o valore din intervalul 0 - 255
Entropia unui pixel:
$$
H(X) = = -\frac{1}{255} \* 255 \* log\_2\frac{1}{255} = - \frac{lg\frac{1}{255}}{lg2} = 7.99 biți
$$
8 \* 1920 \* 1080 = 16 588 800 biți = 16,58 Megabiți \~ 2.07 Megabytes