Najmanjša mera informacije

Razcep iz Komarjevo zvonjenje.

No, biti so lahko neceli.

Če imaš kovanec, ki s tretjinsko verjetnostjo pade na cifro in dvotretjinsko na grb, potem informacija, da je kovanec padel na grb ni cel bit. Info, da je padel na cifro, pa več kot en bit.

Eh, napaka je pol bita. Sem se pa tudi malo nerodno izrazil, priznam. Mišljeno je če imaš A/D, kjer ti LSB pomeni 1 volt (naprimer), potem ti tak A/D da napako +/- 0,5 volta, torej digitalni rezultat se od analogne napetosti razlikuje za +/- pol bita.

Ko zvem, da včeraj NI treščil meteor, velik kot hiša v morje tja, kjer se sekata londonski poldnevnik in ekvator ... sem dobil enako količino informacije, kot če zvem, da je?

V obeh primerih 1 bit?

Ne.

Koristno branje.

Če sta dva komplementarna dogodka, od katerih ima vsak verjetnost 1/2, potem je informacije 1 bit, da se je zgodil ta ali oni.

Če pa je eden 99% verjeten, drug pa 1% verjeten, potem je informacije, da se je zgodil prvi, MANJ kot en bit.

Kar poažurirej to vednost v svoje znanje!

verjetnost in biti nimajo nic skupnega imho... informacije je se vedno samo za 1 bit.
je pa verjetnost, da je ta bit enak 0 (=ni meteorja) veliko vecja, kot pa da je 1 (=kabooom)

kaj pa vem...
kaj je potem po tvoje pol bita informacije? neka stvar mogoce je, mogoce ni?

Še en dober link.

Pa še en.

Bistvo je v tem, da nek signal praktično nikoli ni deljiv na ravno celo število bitov. Recimo, recimo, da lonec vode nekako je deljiv na celo število molekul vode ... čeprav ni, sej vemo, ane. Toda ko poslušamo, gledamo, beremo, ponavadi nismo sprejeli celega števila bitov. Life is more complicated.

Informacija in verjetnost sta intristično prepleteni.

Ne, ne. Moj point je ravno v tem, da en cel bit informacije je le takrat, kadar gre za nfo o izidu poskusa z enakima verjetnostma.

Če imaš takoimenovan pravični kovanec, potem informacija, da je padel grb, tehta en bit. Sicer tehta manj, če se je zgodila verjetnejša stvar in več kot en bit, če se je zgodila manj verjetna. Če na kovancu vedno pade grb, tehta informacija, da je padel grb - 0 bitov.

Koliko tehta informacija, da je padla 6 na pravični kocki?

Okrog 2,6 bitov. Dvojiški logaritem od 6, bitov.

Koliko tehta info, da ni padla 6? To že precej vemo ... ni nam treba prav veliko, samo potrditev, težka koliko bita?

A?

Ja, si dobr zapopadu teorijo, gzibret!

Samo, da se še neki nisva čist dobro razumela z gumbyjem. On mensezdi misli nekako tako, da manj kot 100% zapisan bit ... pač ni čist 1 bit. Kar vsak bit, je tako nepopolno zapisan. Lahko nas pri branju zmoti kvantna fluktuacija, pa smo tam!


Samo ni samo to. Je še to, kar je omenil njok. Kompres related zadeve, možne in mogoče, ker imamo log₂6 bita na met kocke, čeprav to navadno pišemo v 3 bite. Se pa pokomprimira potem.


1 - 000 - 000

2 - 001 - 001

3 - 010 - 010

4 - 011 - 011

5 - 100 - 10

6 - 101 - 11

Prvi stolpec je rezultat meta kocke, drugi navadni zapis, tretji komprimiran zapis. Povprečno potrebujemo malenkost več bitov, od teoretične napovedi tudi v tretjem stolpcu. Samo, se da še popravt. S 13 biti povemo kar za 5 metov, na primer.

kvaj zdej to
maš dvojiški sistem , enomestno naravno število, al je ena al je nula, al je 0,7. kva je ???
glede diskretizacije b pa ocenu da lohk utprete "nekej" novih tem.

Ti rabiš mau več razlage, noraguta.

Prvi stolpec je decimalen. Koliko pik je padlo na kocki. Drugi stolpec je binarno zašifriran (ne direktno zapisan) rezultat. Tretji je pa ta binarna koda še dodatno zoptimizirana. Oglej si drejčev link!

http://laspp.fri.uni-lj.si/oti/files/OTI.pdf

Konc debate?

thomas:
bit, ki ga imam v mislih, je 1 LSB pri A/D pretvorbi.
A/D pac razdeli (kvantizira) signal, pri tem pa se pojavi napaka najvec +-0,5 bita - ce je signal izven tega obmocja, se bo A/D postavil v drugo stanje, ampak napaka bo spet lahko najvec +-0,5bita
klik

tej napaki se rece tudi kvantizacijski sum, in je velik 1 LSB bit... ne mores imet 0,2 3 4289736 in podobne cifre tule, vedno bo 1

in kot sem ze veckrat omenil, tole nima nobene veze z informacijsko teorijo, kompresijo, verjetnostjo in Shannonom.

Ni več kaj bistvenega za dodat, razen mogoče info, da bit ni edina mera informacije.
Obstajata vsaj še nat(nit) in ban. Klikot:
Nat (information) @ Wikipedia
Ban (information) @ Wikipedia
Shannon entropy @ Wikipedia

Lušten citat iz članka o banu, morda se bodo komu prižgali klikerji:

The deciban is a particularly useful measure of information in odds-ratios or weights of evidence. 10 decibans corresponds to an odds ratio of 10:1; 20 decibans to 100:1 odds, etc. According to I. J. Good, a change in a weight of evidence of 1 deciban (i.e., a change in an odds ratio from evens to about 5:4), or perhaps half a deciban, is about as finely as humans can reasonably be expected to quantify their degree of belief in a hypothesis.(A deciban is about 0.33 bits)

Shannonova informacija izhaja iz verjetnostne porazdelitve - v najpreprostejšem primeru, ko imamo enakomerno porazdelitev nad n stanji, je informacija, ki jo pridobimo, ko izvemo to stanje enaka log2(n) bitov - in ker je verjetnost lastnost znanja oz. negotovosti nekega (inteligentnega) sistema, je informacija v resnici subjektivno objektivna količina. (Zakaj ne samo subjektivna ali objektivna? O tem kdaj drugič...:))

Nekaj zmede se tule občasno pojavi med pojmoma entropije in informacije, čeprav je njuno razmerje precej preprosto: informacija je enaka zmanjšanju entropije do katerega pride ob pridobitvi novega znanja - gre torej za nasprotni količini.

Če imamo sistem s 4 stanji (00,01,10,11) in enakomerno porazdelitev nad njimi, je entropija te verj. porazdelitve enaka 2 bite. Ko nam nekdo prišepne, da sta stanji 00 in 11 praktično nemogoči, se entropija spremeni: ostane je le še 1 bit, kar pa je ravno toliko, kolikor informacije smo pridobili (2 bita - 1 bit). Če pa izvemo, da je stanje sistema v resnici 01, je vsa negotovost izginila (naša verj. porazdelitev ima en sam vrh) in z njo tudi vsa entropija, ki je sedaj enaka 0 bitov (pridobili smo še 1 bit informacije).

Obstaja pa še neka druga oblika merjenja informacije, ki pa ni vezana na verjetnostno porazdelitev in tako na nek način objektivnejša: kompleksnost Kolmogorova oz. algoritmična entropija, kjer je količina informacije skrite v nekem objektu enaka dolžini najkrajšega programa, ki nam zgenerira ta objekt. (Določeno mero subjektivnosti dopušča tudi ta, in sicer pri izbiri računskega modela oz. programskega jezika v katerem je napisan ta program, vendar pri večjih objektih ta postane zanemarljiva...).

Entopija Kolmogorov-Sinaia je dinamična entropija. Gre za kompleksnost simbolne dinamike nekega dinamičnega sistema. Verjamem, da se jo da uporabljati tudi v kontekstu računskih algoritmov, če jih interpretiraš kot nek dinamični sistem, sicer pa nisem za to še slišal.
V samem bistvu pa je dotična entropija pravzaprav ekvivalentna Shannonovi, kjer imaš sedaj v vlogi verjetnostne porazdelitve mero nad faznim prostorom. Pri tem seveda moraš imeti definirano konretno particijo faznega prostora, da lahko računaš KS entropijo za spefifično particijo
(še vedno pa je p*ln(p) produkt, kjer je p zdaj pripadajoča verjetnostna mera, da je trajektorija znotraj nekega območja v danem diskretnem času).
Vprašanje dinamike je potem koliko informacije rabiš, da predvidiš kje ob trajektorija v naslednjem diskretnem času. Kar sem pravzaprav želel opomniti je to, da arbitratnost katero omenjaš, izhlapi, ko vzamem supremum po vzeh možnih particijah faznem prostora. Izbira programskega jezika v tvojem kontekstu bi nekako ustrezala različnim abecedam, torej particijam. Ti pa rabiš invariantno definicijo, torej nekako neodvisno od programskega jezika.

Btw, pozitivna KS entropija implicira kaotično dinamiko, da se jo povezati z eksponenti Lyapunova (se reče proces generira informacijo, kar za integrabilne sisteme ne velja).

Aha, vidim da ni algoritmična kompleksnost to, kar sem mislil. Mimogrede, zakaj je dobro definirati to količino? Na wikiju pravi, da ni izračunljiva funkcija.

Drugo, to o subjektivni-objektivnosti je bizarno. Tako, kot še marsikatera "meta" tema, ki se tu rade premlevanjo. De facto, nič od tega, kar se na dani povezavi propagira, ne moreš dokazati. Zdaj, človek nekaj rad "kupi", če ima praktično aplikacijo. Če samo otežuje razumevanje konceptov, ki so intuitivno znani, ne da bi prinesel kako dodano vrednost, potem tega nočeš? Pravim to, da če imaš eksperiment, ki zglerira sistem z več možnimi staji, torej proces z dano verjetnostno porazdelitvijo glede na opazovalčevo bazo (izbira je seveda arbitrarna, vendar je to samo branje istega razultata v drugem opazovalnem sistemu), na primer prepleten kvantni bit, potem kje tukaj vidiš kakšno subjetivnost interpretacije verjetnostne mere, tj. statističnega operatorja? In oni tip ravno to prodaja, da je verjetnostna porazdelitev posledica nekega neznanja, oziroma parcialne informacije o dogajanju, ki jo ima opazovalec. Če sem prav razumel (verjetno nisem, ma bom vseeno poskusil) s sledčo logiko: nam se zdi, da je kvantna mehanika intrinzično vsebuje probabilistični koncept, nekdo tam zunaj (Bog), pa ima v resnici boljšo teorijo in ko meče kvatne kovance že ve deterministično, kakšen bo izid. Verjenostna porazdelitev za "kvantno" glavo v naslednjem mestu je v resnici 1, mi pa ki proces gledamo skozi efektivno teorijo, pa diskriminacije ne znamo opraviti in moramo zato privzeti 50/50 (očitno smo spoznali le to, da Bog na dolgi rok "nastavi" enako kvatnih glav kot kvantnih cifer). Ali bolj poenostavljeno, koliko je verjenost, da pade na kocki 6 pik, predno izveš, da v resnici ne more pasti 6 pik nikoli, ko se kocka 13x odbije od podlage. Ampak, če to mislu, potem je bizarno. Ker verjetnost vedno računaš v sklopu danih predpostavk, tako da omenjena dogodka sploh nista ekvivalenta, čeravno gre za isti fizikalni proces, ki ga opisujemo. Moje mnenje, če se pretvarjem, da se razumel, kar je "težava": NI subjektivne objektivnosti. Objektivnost je pogojena z definicijo procesa, ki ga opisuješ - ki ga seveda opisuješ s teorijo, ki jo tudi definiraš, oziroma osnuješ na postulatih, če gre za fizikalno teorijo.

Kompleksnost Kolmogorova (KK) je v splošnem res neizračunljiva, vseeno pa jo je mogoče od zgoraj aproksimirati, v posebnih primerih pa celo natančno izračunati. Ni pa to ravno 'namen' tega koncepta, podobno kot ni namen definicije Turingovega stroja njegova konstrukcija v praksi, ali pa Solomonoffove indukcije njena direktna uporaba za napovedovanje česarkoli že.

Vse te ideje so namenjene izboljšanju našega formalnega razumevanja določenih problemov oz. kot idealizirane rešitve, ki naj bi jih poskušali na takšen ali drugačen način aproksimirati.

Na KK lahko gledaš kot na formalizacijo Occamove britve: imamo kopico nekih podatkov in iščemo njihov generator (zakon narave, ki stoji za njimi), pri čemer naj bo ta kar se da preprost. Kako meriti preprostost? Kot dolžino programa, ki ustreza temu generatorju - in tako pridemo do KK, ki je intuitivno gledano mera preprostosti/zapletenosti, ki se poleg tega nanaša na posamezne objekte - v nasprotju s Shannonovo teorijo informacij, ki deluje nad verjetnostnimi porazdelitvami.

Ko je Galileo izluščil iz podatkov, ki jih ne pridobil s svojimi poskusi, zakone gibanja, je v bistvu implicitno uporabljal induktivni sistem katerega element je bila (aproksimacija) KK - iskal je preproste enačbe, ki bi pojasnile te podatke in te enačbe so v bistvu zelo kratki programi in ker so kratki, so apriorno zelo verjetni (Ockamova britev)...

Kar se tiče subjektivne-objektivnosti: predpogoj za to, da se sploh spustiš v to debato, je sprejemanje Bayesove interpretacije teorije verjetnosti (predvideval sem, da sva tule že na isti strani). V osnovi gre za idejo, da verjetnost ni lastnost dogodkov samih (npr. kovanca), niti ni obravnavana kot limita relativne frekvence poskusov, temveč je lastnost našega znanja/negotovosti, tega kar pač vemo o neki situaciji. Če nas nekdo vpraša, kolikšna je verjetnost, da bo jutri deževalo, mu bomo odgovorili, da je nedefinirana? Morda, ampak glede na to, da se našim krajem približuje večji oblačni sistem, bomo jutri s seboj raje vzeli dežnik... kar pa že izda, da implicitno ocenjujemo to verjetnost kot dokaj visoko.

Kakorkoli že, ne mislim tule ponavljati vseh argumentov v tej dolgi debati med zagovorniki Bayesa in frekventisti - za povzetek lahko pogledaš na wiki, ali pa v članek Probability is in the Mind - ker je, kar se mene tiče, te debate že davno konec in iz nje je Bayesova opcija izšla kot očiten zmagovalec.

'Praktična' aplikacija ideje subjektivne-objektivnosti? V globinah Friendly AI teorije, v filozofiji matematike in najbrž še kje. Pojasni marsikaj. :)

Met kocke: seveda, vedno gre za isti fizikalni proces, vendar tvoje znanje o njem je lahko različno - gre za map-territory razlikovanje. Če površno opazuješ met, je tvoja negotovost maksimalna, zato vsem možnim dogodkom pripišeš enako verjetnost: 1/6. Če pa imaš izjemno dobre oči in natančen model skakljanja kocke, se tvoja verjetnostna porazdelitev lahko skoncentrira v neki točki: npr. 5/6 za "pade 6" in 1/6 za vse ostale možnosti. Natančneje kot lahko napoveš njeno obnašanje, bolj se tvoja porazdelitev oddalju od maksimalno entropične.

Kvantne mehanike pa tule raje ne bi uporabljal kot primer, ker je to še eno močvirje iz katerega se težko izkoplješ (verjetnost, ki se pojavlja v njej, je indeksična, čemur sledijo vsi problemi antropičnega razmišljanja - skratka, bolje ostati pri klasičnih kovancih)...

To jaz kupim ja, tole "objektivno-subjektivno" (a je ravno obratno?) šolo.

Verjetnost je pri opazovalcu. Dva različna opazovalca komot pripišeta različni verjetnosti za nekaj. Ali jih celo ne pripišeta sploh. Pa se zgodi, ali se ne zgodi. Too bad za tistega, ki je falil. Ta bo slabše komprimiral.

To ni intrusion. To je samo subjektivni insert, ki čisto lepo paše sem.

Počak, bo že kdO pribil kakšen intrusion.

Eudeamon, dober post. Seveda je tovrstno poimenovanje subjetkivno-objetivnega smiselno umeščeno in korektno. To, da je informacija posledica neznanja o dogodku, je jasno že iz vsakdanjih situacij - na primer, če čakaš na avtobus, ki pride, recimo popolnoma nekorelirano s povprečjem 10min, boš čakal povprečno 10 min. Ampak, če imaš dodatne informacije, npr. da se avtobusi med vožnjo prilagajajo, da si ne pridejo preveč blizu, in ti model na postaji pove, da je zadnji bus šel pred 8min, potem boš svoje šanse drugače ocenil. Tisto, kar sem prej trdil je, da sta dva dogodka nima smisla enačiti. Pravzaprav bi rad videl, da je dogodek definiran, oz. determiniran s tem, ko podaš njegovo verjetnostno distribucijo. Potem subjektivna-objektivnost izgine. Enako pri metu kocke; kocka, ki jo meče civilizacija, ki jo lahko izračuna, kam pade, ni kocka, ki jo mečemo mi ljudje. V sami skrajnosti, dnegova vsemogočnost konceptna verjetnosti ne rabi, ker zna vse izračunljivega izračunati iz začetnih pogojev, iz zato so vse verjetnostne porazdelitve trivialne. In tu vstopi to, kar ti praviš, namreč, da je objekt neodivsen od opisovalca, torej imaš kocko in imaš opisovalce kocke => subjektivnost. Govoriva isto stvar, le drugo terminologijo uporabljava.

Tisto kar je tukaj pereče pa je to, da ne moreš apriori vedeti, ali ne obtoji morebiti neka fundamentalna verjetnost, tj. objekt, ki ga nihče od množice vseh mogočih opazovalcev ne more opisati ne boljše in ne slabše od neke fiksne verjetnostne porazdelitve. Kvantna mehanika ni zdaj neki sci-fi, eksperimentalno že 100+ let potrjuje za logiko obskurne rezultate eksperimentov. In kar je še huje, poskusom, da bi teorijo vložili v neko splošnejšo teorijo z lokalnim realizmom, slabo kaže (referenca Bellovi testi). Skratka povsem možno je, da ni nekih skritih spremenljivk, ki ga niso dostopne in efektivno producirajo probabilistično teorijo.