Riječ informacija često se slobodno uzima u značenju podataka. Pretpostavljamo da datoteka veličine 1 MB sadrži 1 MB podataka. Međutim, iz perspektive teorije informacija, podaci nisu jednaki informacijama. U teoriji informacija informacije se matematički definiraju kao količina nesigurnosti ili entropije. Bacanje kocke ima više nesigurnosti od bacanja novčića, te stoga ima više informacija za prenijeti.
Nekomprimirana bitmapska slika ima puno prostorne redundancije u vrijednostima piksela. Drugim riječima, vrijednost piksela može se koristiti za predviđanje vrijednosti susjednih piksela. Tehnike kompresije slike koriste ovu suvišnost. Stoga je komprimirana slika bliža matematičkoj definiciji informacije. Ali MP3 pjesma može sadržavati ponavljanja refrena. Takođe, nakon što smo pjesmu čuli i dobro je zapamtili, ona pruža manje informacija kada je sljedeći put čujemo.
Stoga bi frazu “jedinice podataka” trebalo tumačiti kao “jedinice podataka / pohrane / memorije”.
