Informaatioteoriassa käsitetään informaatio suureeksi, joka on tapahtuman todennäköisyyden käänteisluvun logaritmi− I(x) = log(1/P(x)), missä P(x) on tapahtuman x todennäköisyys. Logaritmi voi olla 10-, 2- tai e-kantainen, ja näin saadaan kolme eri yksikköä:
| Suomeksi | Englanniksi | Kanta | Tunnus | Havainnollistus |
|---|---|---|---|---|
| hartley [hartli] | hartley | 10 | Hart | desimaalinumero, yksi 10:stä vaihtoehdosta |
| shannon [šänon] | shannon | 2 | Sh | bitti, yksi 2:sta vaihtoehdosta |
| informaation luonnollinen yksikkö | natural unit of information | e | nat | 1/ln(2) shannonia. |
Yksiköiden suhteet määräytyvät logaritmien ominaisuuksien mukaan. Likimäärin 1 Sh ≈ 0,301 Hart ≈ 0,639 nat.
Hartleyn aiempia nimiä ovat ”ban” ja ”dit”.
Esimerkiksi yhden desimaalinumeron 0–9 informaatiomäärä on yksi hartley eli 1 Hart, jos kaikki numerot ovat yhtä todennäköisiä. Tällöinhän P(x) = 1/10, jonka käänteisluku on 10, jonka 10-kantainen logaritmi on 1.
Informaation määrän yksiköitä käytetään myös entropian yksikköinä.
Edellä mainituista yksiköistä muodostetaan kerrannaisia SI-etuliitteillä, esimerkiksi megatavu (MB). Tähän kuitenkin liittyy lähinnä periaatteellisia ongelmia, joita käsitellään seuraavassa kohdassa.