# Entropia informațională

**Entropia informațională** măsoară **incertitudinea** asociată cu o variabilă aleatoare.&#x20;

Această măsură indică și **cantitatea de informație conținută într-un mesaj**, exprimată de obicei în biți. Când este exprimată în biți, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informația.

Conceptul a fost introdus de **Claude Shannon** în lucrarea sa din **1948&#x20;*****„O teorie matematică a comunicației”***.

$$
x = \begin{pmatrix}
0 & 1 & 2 & 3 & ... & n \\
p\_0 & p\_1 & p\_2 & p\_3 & ... & p\_n \\
\end{pmatrix}
$$

$$
H(x) = - \sum\_{i=0}^n p\_i\*log\_2 p\_i
$$

$$
x = \begin{pmatrix}
1 & 2 & 3 & 4 & 5 & 6 \\
p\_0 & p\_1 & p\_2 & p\_3 & ... & p\_n \\
\end{pmatrix}
$$

### Exemplu:

Entropia unui mesaj aleator în limba engleză = 26 caractere (litere mici)

Probabilitatea literei p(a) = 1/26, p(b) = 1/26, ... p(z) = 1/26 => H(x) = 4.7 biți <= entropia maximă

Pe baza unor lucrări de beletristică poți observa frecvența fiecărei litere => modificare p(a), p(b), p(c), ... p(z) => H(X) = 2.62

{% hint style="info" %}
Incertitudinea se diminuează pe măsură ce aplici mai multe reguli.
{% endhint %}

## Exerciții

Să se determine cantitatea medie de informație obținută în urma aruncării unui zar, când:

* zarul este echilibrat

$$
X = \begin{pmatrix}
1 & 2 & 3 & 4 & 5 & 6 \\
\frac{1}{6} & \frac{1}{6}& \frac{1}{6}& \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\
\end{pmatrix}
$$

$$
H(X) = - \sum\_{i=1}^6 p\_i\*log\_2 p\_i
$$

$$
H(X) = -\frac{1}{6} \*log\_2\frac{1}{6} + \frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}+\frac{1}{6} \*log\_2\frac{1}{6}
$$

$$
\= - 6 \* \frac{1}{6}  \* log\_2\frac{1}{6} = - \frac{lg\frac{1}{6}}{lg2} = 2,584 biți
$$

Formule folosite mai sus:

1\) Formula logaritm

$$
log\_ax = y
$$

$$
a^y = x
$$

2\) Proprietate logaritmi

$$
log\_{10}x = lgx
$$

3\) formula de schimbare a bazei logaritmului

$$
log\_ab = \frac{log\_cb}{log\_ca} = \frac{lg b}{lg a}
$$

* zarul prezintă următoarele probabilități de apariție a fețelor:&#x20;
  * p(1)=1/2 \~50%
  * p(2)=1/4 \~25%
  * p(3)=1/8 \~12,5%
  * p(4)=1/16 \~ 6.25%
  * p(5)=1/32 \~3.125%
  * p(6)=1/32 \~3.125%

$$
X = \begin{pmatrix}
1 & 2 & 3 & 4 & 5 & 6 \\
\frac{1}{2} & \frac{1}{4}& \frac{1}{8}& \frac{1}{16} & \frac{1}{32} & \frac{1}{32} \\
\end{pmatrix}
$$

$$
H(X) = - \sum\_{i=1}^6 p\_i\*log\_2 p\_i
$$

$$
H(X) = -\frac{1}{2} \*log\_2\frac{1}{2} + \frac{1}{4} \*log\_2\frac{1}{4}+\frac{1}{8} \*log\_2\frac{1}{8}+\frac{1}{16} \*log\_2\frac{1}{16}+\frac{1}{32} \*log\_2\frac{1}{32}+\frac{1}{32} \*log\_2\frac{1}{32}
$$

$$
H(X) = 1.937 biți
$$

Incertitudinea s-a diminuat față de exemplul precendent.

{% hint style="warning" %}
Ce se întamplă când am un eveniment sigur, adică cu p(i) = 1?
{% endhint %}

## Proprietăți:

* Entropia informațională este **maximă (nu e limitată superior)** când nu am nici cea mai mică idee de ar putea să se întămple, probabilitatea evenimentelor este echiprobabilă (toate evenimentele au p(i) = 1/26 sau p(i) = 1/6)
* Entropia informațională este **minimă (0)** atunci când evenimentul este sigur

{% file src="<https://3764159134-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLEuMc3jCaSbqilHud9lY%2Fuploads%2FjNWs6k8ZnXcArqkwcVLp%2FProprietati_entropie.pdf?alt=media&token=f87ec05a-3497-44cd-b22f-bbe16da6af62>" %}

## Cantitataea de informație dintr-o imagine

Dimensiune imagine: 1,920 x 1,080 pixels (Full HD)

Imagine alb-negru => fiecare pixel are o valore din intervalul 0 - 255

Entropia unui pixel:

$$
H(X) = = -\frac{1}{255} \* 255 \* log\_2\frac{1}{255} = - \frac{lg\frac{1}{255}}{lg2} = 7.99 biți
$$

8 \* 1920 \* 1080 = 16 588 800 biți = 16,58 Megabiți \~ 2.07 Megabytes

<img src="https://3764159134-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLEuMc3jCaSbqilHud9lY%2Fuploads%2Fg1eN3Ap8oWh1Sl85e5Ao%2Ffile.drawing.svg?alt=media&#x26;token=f8aed582-8962-460b-a047-5d833637459f" alt="" class="gitbook-drawing">

<figure><img src="https://3764159134-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLEuMc3jCaSbqilHud9lY%2Fuploads%2Fa9d8z9sKVHUwcRiB1nOa%2F220px-Bits_and_Bytes.svg.png?alt=media&#x26;token=a04f6eee-1cd1-439d-8806-e1408d66924a" alt=""><figcaption></figcaption></figure>
