Kako su informacije povezane sa entropijom?

Riječ informacija često se slobodno uzima u značenju podataka. Pretpostavljamo da datoteka veličine 1 MB sadrži 1 MB podataka. Međutim, iz perspektive teorije informacija, podaci nisu jednaki informacijama. U teoriji informacija informacije se matematički definiraju kao količina nesigurnosti ili entropije. Bacanje kocke ima više nesigurnosti od bacanja novčića, te stoga ima više informacija za prenijeti.



Nekomprimirana bitmapska slika ima puno prostorne redundancije u vrijednostima piksela. Drugim riječima, vrijednost piksela može se koristiti za predviđanje vrijednosti susjednih piksela. Tehnike kompresije slike koriste ovu suvišnost. Stoga je komprimirana slika bliža matematičkoj definiciji informacije. Ali MP3 pjesma može sadržavati ponavljanja refrena. Takođe, nakon što smo pjesmu čuli i dobro je zapamtili, ona pruža manje informacija kada je sljedeći put čujemo.

Stoga bi frazu “jedinice podataka” trebalo tumačiti kao “jedinice podataka / pohrane / memorije”.



Izvor: https://devopedia.org/units-of-information#:~:text=The%20basic%20unit%20of%20information,are%20derived%20from%20the%20bit.

 334 total views,  2 views today

Arnes K.

Ja sam nastavnik i profesor fizike koji nastoji da ispuni rupe u svom i svačijem znanju kako bi svi bili bolje informisani i mogli da donosimo bolje odluke i živimo bolji život.

Šta vi mislite o ovom? Ostavite vaš komentar i podijelite mišljenje sa svima.

Sva Fizika
%d bloggers like this: