» »

Najmanjša mera informacije

Najmanjša mera informacije

OwcA ::

Otroška radovednost - gonilo napredka.
  • spremenilo: OwcA ()

Nejc Pintar ::

Eh, biti so lahko le celi. Nisem še slišal za pol bita informacije:)
Lahko je biti prvi, če si edini!

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

No, biti so lahko neceli.

Če imaš kovanec, ki s tretjinsko verjetnostjo pade na cifro in dvotretjinsko na grb, potem informacija, da je kovanec padel na grb ni cel bit. Info, da je padel na cifro, pa več kot en bit.
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Nejc Pintar ::

Sicer sva offtopic, ampak tukaj se žal ne morem strinjati s teboj.

Kakšna je potem vsebina te polovice bita? 1 ali 0?
Sicer pa je informacija da je padel na grb cel bit. Da je padel na cifro prav tako cel bit. Verjetnost ne vpliva na količino informacije.
Lahko je biti prvi, če si edini!

Zgodovina sprememb…

  • premaknilo od: OwcA ()

TESKAn ::

Eh, napaka je pol bita. Sem se pa tudi malo nerodno izrazil, priznam. Mišljeno je če imaš A/D, kjer ti LSB pomeni 1 volt (naprimer), potem ti tak A/D da napako +/- 0,5 volta, torej digitalni rezultat se od analogne napetosti razlikuje za +/- pol bita:).
Uf! Uf! Je rekel Vinetou in se skril za skalo,
ki jo je prav v ta namen nosil s seboj.

Zgodovina sprememb…

  • premaknilo od: OwcA ()

gumby ::

+- pol bita = 1 bit

za tiste, ki jim se vedno ni jasno:D
my brain hurts

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Ko zvem, da včeraj NI treščil meteor, velik kot hiša v morje tja, kjer se sekata londonski poldnevnik in ekvator ... sem dobil enako količino informacije, kot če zvem, da je?

V obeh primerih 1 bit?

Ne.

Koristno branje.
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Nejc Pintar ::

@Thomas:
Informaciji da je trešćil meteor in da ni treščil meteor sta enakovredni.
Informacija da je treščil meteor pa ni enakovredna informaciji da se ni zgodilo nič.:\
Lahko je biti prvi, če si edini!

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Če sta dva komplementarna dogodka, od katerih ima vsak verjetnost 1/2, potem je informacije 1 bit, da se je zgodil ta ali oni.

Če pa je eden 99% verjeten, drug pa 1% verjeten, potem je informacije, da se je zgodil prvi, MANJ kot en bit.

Kar poažurirej to vednost v svoje znanje!
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Oziroma, lepše rečeno:

S to vednostjo zdaj poažuriraj svoje znanje!
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

gumby ::

verjetnost in biti nimajo nic skupnega imho... informacije je se vedno samo za 1 bit.
je pa verjetnost, da je ta bit enak 0 (=ni meteorja) veliko vecja, kot pa da je 1 (=kabooom)
my brain hurts

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Link.

Tedrick [5,6] shows how to transmit the fraction of a bit


Z vsem dolžnim spoštovanjem, gumby, tvoj imhojček si lahko nekam zatakneš.
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

gumby ::

kaj pa vem...
kaj je potem po tvoje pol bita informacije? neka stvar mogoce je, mogoce ni?
my brain hurts

Zgodovina sprememb…

  • premaknilo od: OwcA ()

njok ::

Če bi Nejc in gumby imela prav, bi lahko pozabili na razne ZIP-e in RAR-e. Le preberita si kakšnega od zgornjih linkov.

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

gumby ::


tole si mislil, ane thomas?

"bit" mogoce ni ravno pravi izraz za to... zaradi tega se sploh prepiramo, ker nismo imeli v mislih isto stvar
my brain hurts

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Bistvo je v tem, da nek signal praktično nikoli ni deljiv na ravno celo število bitov. Recimo, recimo, da lonec vode nekako je deljiv na celo število molekul vode ... čeprav ni, sej vemo, ane. Toda ko poslušamo, gledamo, beremo, ponavadi nismo sprejeli celega števila bitov. Life is more complicated.

Informacija in verjetnost sta intristično prepleteni.
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

gumby ::

>>Informacija in verjetnost sta intristično prepleteni.

seveda sta...
nesporazum je bil zaradi tistih +-pol bita, ki predstavlja napako pri kvantizacijskem sumu

ta sum je pa vedno "velik" 1 bit, oblika signala je pri tem popolnoma irelevantna (ravno tako vsa statistika okoli tega) - tule gre za samo delovanje A/D-ja, ne toliko za informacijsko teorijo
my brain hurts

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Ne, ne. Moj point je ravno v tem, da en cel bit informacije je le takrat, kadar gre za nfo o izidu poskusa z enakima verjetnostma.

Če imaš takoimenovan pravični kovanec, potem informacija, da je padel grb, tehta en bit. Sicer tehta manj, če se je zgodila verjetnejša stvar in več kot en bit, če se je zgodila manj verjetna. Če na kovancu vedno pade grb, tehta informacija, da je padel grb - 0 bitov.

Koliko tehta informacija, da je padla 6 na pravični kocki?

Okrog 2,6 bitov. Dvojiški logaritem od 6, bitov.

Koliko tehta info, da ni padla 6? To že precej vemo ... ni nam treba prav veliko, samo potrditev, težka koliko bita?

A?
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • premaknilo od: OwcA ()

gumby ::

se enkrat preberi, kaj sem zgoraj napisal...

ne pogovarjava se o istih "bitih"
my brain hurts

Zgodovina sprememb…

  • premaknilo od: OwcA ()

Thomas ::

Ja, si dobr zapopadu teorijo, gzibret! :P

Samo, da se še neki nisva čist dobro razumela z gumbyjem. On mensezdi misli nekako tako, da manj kot 100% zapisan bit ... pač ni čist 1 bit. Kar vsak bit, je tako nepopolno zapisan. Lahko nas pri branju zmoti kvantna fluktuacija, pa smo tam!


Samo ni samo to. Je še to, kar je omenil njok. Kompres related zadeve, možne in mogoče, ker imamo log26 bita na met kocke, čeprav to navadno pišemo v 3 bite. Se pa pokomprimira potem.


1 - 000 - 000

2 - 001 - 001

3 - 010 - 010

4 - 011 - 011

5 - 100 - 10

6 - 101 - 11

Prvi stolpec je rezultat meta kocke, drugi navadni zapis, tretji komprimiran zapis. Povprečno potrebujemo malenkost več bitov, od teoretične napovedi tudi v tretjem stolpcu. Samo, se da še popravt. S 13 biti povemo kar za 5 metov, na primer.
Man muss immer generalisieren - Carl Jacobi

Zgodovina sprememb…

  • odbrisalo: OwcA ()

drejc ::

Se reče Huffmanov kod.
"Rise above oneself and grasp the world"
- Archimedes of Syracuse

noraguta ::

kvaj zdej to
maš dvojiški sistem , enomestno naravno število, al je ena al je nula, al je 0,7. kva je ???
glede diskretizacije b pa ocenu da lohk utprete "nekej" novih tem.
Pust' ot pobyedy k pobyedye vyedyot!

Zgodovina sprememb…

  • spremenilo: noraguta ()

Matev ::

najmanjša mera informacije bi bila ta, da bit sploh obstaja
njegova vrednost je pa celotni bit informacije

Thomas ::

Ti rabiš mau več razlage, noraguta.

Prvi stolpec je decimalen. Koliko pik je padlo na kocki. Drugi stolpec je binarno zašifriran (ne direktno zapisan) rezultat. Tretji je pa ta binarna koda še dodatno zoptimizirana. Oglej si drejčev link!
Man muss immer generalisieren - Carl Jacobi

noraguta ::

ne ti men z decimalnim tomas bit je bit al svet zelena al rdeča, semafor nima rumene.
ravno tko dela računav, je eno stanje al drugo če se ne ve kaj je umes se ponavad zadeva blesceena.
krčenje redundance ni pomembno v primeru definicije bita, ker tu gre za substrat ne translacijo med enim in drugim sistemom.
Pust' ot pobyedy k pobyedye vyedyot!

Zgodovina sprememb…

  • spremenilo: noraguta ()

DavidJ ::

"Do, or do not. There is no 'try'. "
- Yoda ('The Empire Strikes Back')

steev ::

Jah, možnih definicij je več. Kdo pa ima prav, pa nikoli ne bomo izvedeli?
:|

gumby ::

thomas:
bit, ki ga imam v mislih, je 1 LSB pri A/D pretvorbi.
A/D pac razdeli (kvantizira) signal, pri tem pa se pojavi napaka najvec +-0,5 bita - ce je signal izven tega obmocja, se bo A/D postavil v drugo stanje, ampak napaka bo spet lahko najvec +-0,5bita
klik

tej napaki se rece tudi kvantizacijski sum, in je velik 1 LSB bit... ne mores imet 0,2 3 4289736 in podobne cifre tule, vedno bo 1

in kot sem ze veckrat omenil, tole nima nobene veze z informacijsko teorijo, kompresijo, verjetnostjo in Shannonom.
my brain hurts

Yggdrasil ::

Bom poskusil elaborirati kje je težava, torej zakaj se razhajajo mnenja, ali je možno imeti manj kot 1 bit.
Nekateri trdite, cifra je lahko le 0 ali 1, ergo nima smisla govoriti o informaciji, ki je manj kot bit, drugi govorite (Thomas),
da obstaja koncept manj kot enega bita. No, prav ima slednji, kajti smiselno je govoriti o povprečni informaciji, ki jo dobiš iz izida eksperimenta. Tista formula z logaritmom je Shannonova entopija in je mera o negotovoti izida naključnega procesa. Če imaš totalno nepošten kovanec, potem je izid povsem gotov in je entropija 0. Za pošten kovanec je entropija 1. To pomeni, dobiš 1 bit informacije. Za "biased" kovanec (karkoli to že je) pa je nekje med 0 in 1 (1 je maksimum!). Zdaj je vprašanje od kod se ta formula vzame.

Predstavljajmo si v splošnem sistem z N stanji, pri čemer je p(i), i=1,...,N verjetnost za i-ti dogodek. Seveda je vsota te diskretne gostote verjetnosti 1. Nato M-krat izvedemo meritev. Zanima nas koliko možih izidov lahko dobimo? To je N(M)=M!/[prod_{i}(p(i)M)!]. V imenovalcu imamo produkt po vseh različno obteženih opcijah: log(N(M)) je število bitov, tj. informacija, ki jo s tem sproduciraš. POVPREČNA infromacija, ki jo sproducira en dogodek pa je lim_{M->infty}[N(M)/M]. Pomembno je, da je to količina, ki je dobro definirana v t.i. termodinamski limiti (ko število dogodkov tendira proti neskončnosti). Tedaj lahko človek uporabi Stirlingovo aproksimacijo za fakulteto in dobi ven Shannonovo formulo.
Iz te slike je razvidno zakaj pri metu "nefer" kovanca produciramo manj informacije - v skrajnem primeru je možen izid po M metih le eden, ko imamo cifro na obeh straneh in torej na en met odpade 0 bitov. To je to.

Če mečeš pošteno kocko, imaš 6 enako obteženih opcij in sproduciraš ven en "šestit" informacije. To je tolko, kot je Thomas zgoraj napisal.

odiedog ::

Ni več kaj bistvenega za dodat, razen mogoče info, da bit ni edina mera informacije.
Obstajata vsaj še nat(nit) in ban. Klikot:
Nat (information) @ Wikipedia
Ban (information) @ Wikipedia
Shannon entropy @ Wikipedia

Lušten citat iz članka o banu, morda se bodo komu prižgali klikerji:
The deciban is a particularly useful measure of information in odds-ratios or weights of evidence. 10 decibans corresponds to an odds ratio of 10:1; 20 decibans to 100:1 odds, etc. According to I. J. Good, a change in a weight of evidence of 1 deciban (i.e., a change in an odds ratio from evens to about 5:4), or perhaps half a deciban, is about as finely as humans can reasonably be expected to quantify their degree of belief in a hypothesis.(A deciban is about 0.33 bits)

Zgodovina sprememb…

  • spremenilo: odiedog ()

Yggdrasil ::

Kar je sicer brezveze. Če premikaš osnovo logaritmom samo marilno skalo redefiniraš. Namesto, da mleko meriš v litrih, ga meriš v tetrapakih ali kantah. Še vedno gre za konceptualno "isto" informacijo.

eudaemon ::

Shannonova informacija izhaja iz verjetnostne porazdelitve - v najpreprostejšem primeru, ko imamo enakomerno porazdelitev nad n stanji, je informacija, ki jo pridobimo, ko izvemo to stanje enaka log2(n) bitov - in ker je verjetnost lastnost znanja oz. negotovosti nekega (inteligentnega) sistema, je informacija v resnici subjektivno objektivna količina. (Zakaj ne samo subjektivna ali objektivna? O tem kdaj drugič...:))

Nekaj zmede se tule občasno pojavi med pojmoma entropije in informacije, čeprav je njuno razmerje precej preprosto: informacija je enaka zmanjšanju entropije do katerega pride ob pridobitvi novega znanja - gre torej za nasprotni količini.

Če imamo sistem s 4 stanji (00,01,10,11) in enakomerno porazdelitev nad njimi, je entropija te verj. porazdelitve enaka 2 bite. Ko nam nekdo prišepne, da sta stanji 00 in 11 praktično nemogoči, se entropija spremeni: ostane je le še 1 bit, kar pa je ravno toliko, kolikor informacije smo pridobili (2 bita - 1 bit). Če pa izvemo, da je stanje sistema v resnici 01, je vsa negotovost izginila (naša verj. porazdelitev ima en sam vrh) in z njo tudi vsa entropija, ki je sedaj enaka 0 bitov (pridobili smo še 1 bit informacije).

Obstaja pa še neka druga oblika merjenja informacije, ki pa ni vezana na verjetnostno porazdelitev in tako na nek način objektivnejša: kompleksnost Kolmogorova oz. algoritmična entropija, kjer je količina informacije skrite v nekem objektu enaka dolžini najkrajšega programa, ki nam zgenerira ta objekt. (Določeno mero subjektivnosti dopušča tudi ta, in sicer pri izbiri računskega modela oz. programskega jezika v katerem je napisan ta program, vendar pri večjih objektih ta postane zanemarljiva...).
"Do not propose solutions until the problem has been discussed as thoroughly
as possible without suggesting any." R.F.Maier

bMozart ::

I NEED The Point of View Gun effectible on girls too! And then...

Yggdrasil ::

Entopija Kolmogorov-Sinaia je dinamična entropija. Gre za kompleksnost simbolne dinamike nekega dinamičnega sistema. Verjamem, da se jo da uporabljati tudi v kontekstu računskih algoritmov, če jih interpretiraš kot nek dinamični sistem, sicer pa nisem za to še slišal.
V samem bistvu pa je dotična entropija pravzaprav ekvivalentna Shannonovi, kjer imaš sedaj v vlogi verjetnostne porazdelitve mero nad faznim prostorom. Pri tem seveda moraš imeti definirano konretno particijo faznega prostora, da lahko računaš KS entropijo za spefifično particijo
(še vedno pa je p*ln(p) produkt, kjer je p zdaj pripadajoča verjetnostna mera, da je trajektorija znotraj nekega območja v danem diskretnem času).
Vprašanje dinamike je potem koliko informacije rabiš, da predvidiš kje ob trajektorija v naslednjem diskretnem času. Kar sem pravzaprav želel opomniti je to, da arbitratnost katero omenjaš, izhlapi, ko vzamem supremum po vzeh možnih particijah faznem prostora. Izbira programskega jezika v tvojem kontekstu bi nekako ustrezala različnim abecedam, torej particijam. Ti pa rabiš invariantno definicijo, torej nekako neodvisno od programskega jezika.

Btw, pozitivna KS entropija implicira kaotično dinamiko, da se jo povezati z eksponenti Lyapunova (se reče proces generira informacijo, kar za integrabilne sisteme ne velja).

eudaemon ::

Entropija KS (za katero sem prvič izvedel tule - thx) je nekaj drugega od kompleksnosti Kolmogorova oz. algoritmične kompleksnosti/informacije/entropije (vse to so sopomenke, da ne bo pomote). Medtem ko je prva še vedno odvisna od verjetnostne porazdelitve oz. od mere, ki pa je samo posplošitev verjetnosti, za slednjo to ne velja - kot sem že omenil, je definirana z dolžino najkrajšega programa (v bitih), ki zgenerira objekt katerega informacijska vsebina nas zanima: K(x) = min(len(P); U(P) = x) preko vseh programov P, U pa je univerzalni Turingov stroj.

Ker obstaja mnogo univerzalnih TS-jev - lahko si jih predstavljaš kot različne programske jezike, pri katerih se seveda pojavijo razlike v dolžini implementacij neke fiksne funkcije, imamo potemtakem tudi razlike pri K(x), odvisno pač od tega, kateri "programski jezik" uporabimo za opis našega objekta x. Ni pa to kaka posebno huda pomankljivost tega pristopa, ker so te razlike vedno konstantne, t.j. neodvisne od samih objektov, ker je vedno mogoče s pomočjo prevajalnika pretvoriti program iz enega programskega jezika v drugega, kar pa navrže samo konstantno dolžino k našemu programu za generiranje objekta x ... in ta konstanta je pri kompleksnih objektih zanemarljivo majhna.

Subjektivnost torej vstopa v kompleksnost Kolmogorova skozi izbiro referenčnega Turingovega stroja, pri Shannonovi entropiji pa so stvari drugačne: izpeljana je iz verjetnostne porazdelitve (ali v splošnem, mere) kot jo oblikuje nek opazovalec na osnovi svojega znanja. S spremembo te porazdelitve se spremeni tudi entropija - zaradi česar lahko rečemo, da je subjektivna - vendar ima sama verjetnost tudi objektivni značaj: obstaja natanko ena optimalna verjetnostna porazdelitev, kot bi jo v določeni situaciji (znanja) pripisala dogodkom idealizirana Bayesova superinteligenca. Tako kot verjetnost, je potem tudi entropija subjektivno-objektivna.

Več o tem: Probability is Subjectively Objective

Naslednja tema: ali obstaja kaka povezava med Shannonovo entropijo in algoritmično kompleksnostjo? (Odg. je da; pričakovana algoritmična kompleksnost je enaka Shannonovi entropiji, ni pa to ravno očitno...)
"Do not propose solutions until the problem has been discussed as thoroughly
as possible without suggesting any." R.F.Maier

Yggdrasil ::

Aha, vidim da ni algoritmična kompleksnost to, kar sem mislil. Mimogrede, zakaj je dobro definirati to količino? Na wikiju pravi, da ni izračunljiva funkcija.

Drugo, to o subjektivni-objektivnosti je bizarno. Tako, kot še marsikatera "meta" tema, ki se tu rade premlevanjo. De facto, nič od tega, kar se na dani povezavi propagira, ne moreš dokazati. Zdaj, človek nekaj rad "kupi", če ima praktično aplikacijo. Če samo otežuje razumevanje konceptov, ki so intuitivno znani, ne da bi prinesel kako dodano vrednost, potem tega nočeš? Pravim to, da če imaš eksperiment, ki zglerira sistem z več možnimi staji, torej proces z dano verjetnostno porazdelitvijo glede na opazovalčevo bazo (izbira je seveda arbitrarna, vendar je to samo branje istega razultata v drugem opazovalnem sistemu), na primer prepleten kvantni bit, potem kje tukaj vidiš kakšno subjetivnost interpretacije verjetnostne mere, tj. statističnega operatorja? In oni tip ravno to prodaja, da je verjetnostna porazdelitev posledica nekega neznanja, oziroma parcialne informacije o dogajanju, ki jo ima opazovalec. Če sem prav razumel (verjetno nisem, ma bom vseeno poskusil) s sledčo logiko: nam se zdi, da je kvantna mehanika intrinzično vsebuje probabilistični koncept, nekdo tam zunaj (Bog), pa ima v resnici boljšo teorijo in ko meče kvatne kovance že ve deterministično, kakšen bo izid. Verjenostna porazdelitev za "kvantno" glavo v naslednjem mestu je v resnici 1, mi pa ki proces gledamo skozi efektivno teorijo, pa diskriminacije ne znamo opraviti in moramo zato privzeti 50/50 (očitno smo spoznali le to, da Bog na dolgi rok "nastavi" enako kvatnih glav kot kvantnih cifer). Ali bolj poenostavljeno, koliko je verjenost, da pade na kocki 6 pik, predno izveš, da v resnici ne more pasti 6 pik nikoli, ko se kocka 13x odbije od podlage. Ampak, če to mislu, potem je bizarno. Ker verjetnost vedno računaš v sklopu danih predpostavk, tako da omenjena dogodka sploh nista ekvivalenta, čeravno gre za isti fizikalni proces, ki ga opisujemo. Moje mnenje, če se pretvarjem, da se razumel, kar je "težava": NI subjektivne objektivnosti. Objektivnost je pogojena z definicijo procesa, ki ga opisuješ - ki ga seveda opisuješ s teorijo, ki jo tudi definiraš, oziroma osnuješ na postulatih, če gre za fizikalno teorijo.

Thomas ::

Kako dela taprav Bajesovc?

Vzame (magari random) realno število p, med 0 in 1 in ga imenuje prior za event E.

Potem ko se E zgodi ali ne zgodi, Bajesovc reče: Priorem Mutamus Ex Novis Testimonium! Se pustim prepričat, ko in če se dokaz (pričanje) zgodi, po domače.

In izvede update za prior p. Kako to naredi, je closed source. Če kdo kje najde, pa tudi prav.

Tako hodi Bajesova gospodična skozi življenje in skoz apdejta. Verjetnosti dogodkov so v njeni beležnici, stokrat prekracane. Ali pa ima kakšno fensi računsko napravo, ki vse dela avtomatsko zanjo. Odvisno pač od tega, po katerem stoletju se gospodična ravno sprehaja.

No, ampak bistvo je to, da verjetnosti so v beležnici, ne v svetu! Po prepričanju, ki ga eudaemon zagovarja.

Yggdrasil pa misli, da je prior v njeni beležnici kvečjemu kopija nekih stvarnih priorjev, imanentnih eventu ki ga vidi. Zanj ni samo p, ampak cela distribucija, tam zunaj, kjer je resnica.

No, vsaj tako ju jaz zastopim.
Man muss immer generalisieren - Carl Jacobi

eudaemon ::

Kompleksnost Kolmogorova (KK) je v splošnem res neizračunljiva, vseeno pa jo je mogoče od zgoraj aproksimirati, v posebnih primerih pa celo natančno izračunati. Ni pa to ravno 'namen' tega koncepta, podobno kot ni namen definicije Turingovega stroja njegova konstrukcija v praksi, ali pa Solomonoffove indukcije njena direktna uporaba za napovedovanje česarkoli že.

Vse te ideje so namenjene izboljšanju našega formalnega razumevanja določenih problemov oz. kot idealizirane rešitve, ki naj bi jih poskušali na takšen ali drugačen način aproksimirati.

Na KK lahko gledaš kot na formalizacijo Occamove britve: imamo kopico nekih podatkov in iščemo njihov generator (zakon narave, ki stoji za njimi), pri čemer naj bo ta kar se da preprost. Kako meriti preprostost? Kot dolžino programa, ki ustreza temu generatorju - in tako pridemo do KK, ki je intuitivno gledano mera preprostosti/zapletenosti, ki se poleg tega nanaša na posamezne objekte - v nasprotju s Shannonovo teorijo informacij, ki deluje nad verjetnostnimi porazdelitvami.

Ko je Galileo izluščil iz podatkov, ki jih ne pridobil s svojimi poskusi, zakone gibanja, je v bistvu implicitno uporabljal induktivni sistem katerega element je bila (aproksimacija) KK - iskal je preproste enačbe, ki bi pojasnile te podatke in te enačbe so v bistvu zelo kratki programi in ker so kratki, so apriorno zelo verjetni (Ockamova britev)...

Kar se tiče subjektivne-objektivnosti: predpogoj za to, da se sploh spustiš v to debato, je sprejemanje Bayesove interpretacije teorije verjetnosti (predvideval sem, da sva tule že na isti strani). V osnovi gre za idejo, da verjetnost ni lastnost dogodkov samih (npr. kovanca), niti ni obravnavana kot limita relativne frekvence poskusov, temveč je lastnost našega znanja/negotovosti, tega kar pač vemo o neki situaciji. Če nas nekdo vpraša, kolikšna je verjetnost, da bo jutri deževalo, mu bomo odgovorili, da je nedefinirana? Morda, ampak glede na to, da se našim krajem približuje večji oblačni sistem, bomo jutri s seboj raje vzeli dežnik... kar pa že izda, da implicitno ocenjujemo to verjetnost kot dokaj visoko.

Kakorkoli že, ne mislim tule ponavljati vseh argumentov v tej dolgi debati med zagovorniki Bayesa in frekventisti - za povzetek lahko pogledaš na wiki, ali pa v članek Probability is in the Mind - ker je, kar se mene tiče, te debate že davno konec in iz nje je Bayesova opcija izšla kot očiten zmagovalec.

'Praktična' aplikacija ideje subjektivne-objektivnosti? V globinah Friendly AI teorije, v filozofiji matematike in najbrž še kje. Pojasni marsikaj. :)

Met kocke: seveda, vedno gre za isti fizikalni proces, vendar tvoje znanje o njem je lahko različno - gre za map-territory razlikovanje. Če površno opazuješ met, je tvoja negotovost maksimalna, zato vsem možnim dogodkom pripišeš enako verjetnost: 1/6. Če pa imaš izjemno dobre oči in natančen model skakljanja kocke, se tvoja verjetnostna porazdelitev lahko skoncentrira v neki točki: npr. 5/6 za "pade 6" in 1/6 za vse ostale možnosti. Natančneje kot lahko napoveš njeno obnašanje, bolj se tvoja porazdelitev oddalju od maksimalno entropične.

Kvantne mehanike pa tule raje ne bi uporabljal kot primer, ker je to še eno močvirje iz katerega se težko izkoplješ (verjetnost, ki se pojavlja v njej, je indeksična, čemur sledijo vsi problemi antropičnega razmišljanja - skratka, bolje ostati pri klasičnih kovancih)...
"Do not propose solutions until the problem has been discussed as thoroughly
as possible without suggesting any." R.F.Maier

eudaemon ::

@Thomas
No, vsaj tako ju jaz zastopim.

Ja, tako nekako... je pa to v bistvu prvi korak k ideji subjektivne-objektivnosti nekaterih količin. Verjetnost je ena izmed njih, ker je Shannonova informacija izpeljana iz nje, se tudi ta okuži s to lastnostjo, zanimivejša pa je morala, ampak o tem ne bi tule.

Preprosto povedano gre za to, da lahko obravnavamo izračunavanje verjetnosti kot idealiziran proces, tako kot lahko 'idealiziramo' npr. računanje "2+2=?" nekega običajnega kalkulatorja, ki se lahko kdaj pa kdaj tudi zmoti in vrne kaj drugega kot "4". Kdo bi rekel, "če kalkulator vrne 3, potem je 2+2=3", ampak vsi dobro vemo, da je objektivno pravilen odg. pač 4, tudi če kalkulator vrne 3, in tudi če v svojih mislih dobim rezultat različen od 4. Kako potem definirati 4 kot pravilen odg. na vprašanje "2+2=?"? Idealni proces izračunavanja "2+2" bi vrnil odg. 4. Če subjektivno spremenimo odg. na 3, ga to objektivno ne spremeni - še vedno ostane 4. Vse to pa vejla tudi za verjetnost...
"Do not propose solutions until the problem has been discussed as thoroughly
as possible without suggesting any." R.F.Maier

Thomas ::

To jaz kupim ja, tole "objektivno-subjektivno" (a je ravno obratno?) šolo.

Verjetnost je pri opazovalcu. Dva različna opazovalca komot pripišeta različni verjetnosti za nekaj. Ali jih celo ne pripišeta sploh. Pa se zgodi, ali se ne zgodi. Too bad za tistega, ki je falil. Ta bo slabše komprimiral.
Man muss immer generalisieren - Carl Jacobi

innerspace ::

Offtopic.

Tole zdej me je spomnilo na nek trenutek v otrostvu, ko sem si zapovedal, da "verjetnost ne obstaja, vse dogajanje je ena sama sigurnost".

Pardon my intrusion.
Donate BTC here: 35KR84u3rXN3in1kCw9YHRz4WF3r5kfFF4

Thomas ::

To ni intrusion. To je samo subjektivni insert, ki čisto lepo paše sem.

Počak, bo že kdO pribil kakšen intrusion.
Man muss immer generalisieren - Carl Jacobi

innerspace ::

Na kOga neki ciljas? :))
Donate BTC here: 35KR84u3rXN3in1kCw9YHRz4WF3r5kfFF4

Yggdrasil ::

Eudeamon, dober post. Seveda je tovrstno poimenovanje subjetkivno-objetivnega smiselno umeščeno in korektno. To, da je informacija posledica neznanja o dogodku, je jasno že iz vsakdanjih situacij - na primer, če čakaš na avtobus, ki pride, recimo popolnoma nekorelirano s povprečjem 10min, boš čakal povprečno 10 min. Ampak, če imaš dodatne informacije, npr. da se avtobusi med vožnjo prilagajajo, da si ne pridejo preveč blizu, in ti model na postaji pove, da je zadnji bus šel pred 8min, potem boš svoje šanse drugače ocenil. Tisto, kar sem prej trdil je, da sta dva dogodka nima smisla enačiti. Pravzaprav bi rad videl, da je dogodek definiran, oz. determiniran s tem, ko podaš njegovo verjetnostno distribucijo. Potem subjektivna-objektivnost izgine. Enako pri metu kocke; kocka, ki jo meče civilizacija, ki jo lahko izračuna, kam pade, ni kocka, ki jo mečemo mi ljudje. V sami skrajnosti, dnegova vsemogočnost konceptna verjetnosti ne rabi, ker zna vse izračunljivega izračunati iz začetnih pogojev, iz zato so vse verjetnostne porazdelitve trivialne. In tu vstopi to, kar ti praviš, namreč, da je objekt neodivsen od opisovalca, torej imaš kocko in imaš opisovalce kocke => subjektivnost. Govoriva isto stvar, le drugo terminologijo uporabljava.

Tisto kar je tukaj pereče pa je to, da ne moreš apriori vedeti, ali ne obtoji morebiti neka fundamentalna verjetnost, tj. objekt, ki ga nihče od množice vseh mogočih opazovalcev ne more opisati ne boljše in ne slabše od neke fiksne verjetnostne porazdelitve. Kvantna mehanika ni zdaj neki sci-fi, eksperimentalno že 100+ let potrjuje za logiko obskurne rezultate eksperimentov. In kar je še huje, poskusom, da bi teorijo vložili v neko splošnejšo teorijo z lokalnim realizmom, slabo kaže (referenca Bellovi testi). Skratka povsem možno je, da ni nekih skritih spremenljivk, ki ga niso dostopne in efektivno producirajo probabilistično teorijo.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Problem 3 (strani: 1 2 )

Oddelek: Znanost in tehnologija
676121 (4805) Thomas
»

Izracun slucaja

Oddelek: Znanost in tehnologija
142192 (1546) Thomas
»

Informatika - naloga

Oddelek: Šola
111769 (1477) Thomas
»

Verjetnostne uganke (strani: 1 2 )

Oddelek: Znanost in tehnologija
816084 (4515) SavoKovac
»

popolno naklucje (strani: 1 2 )

Oddelek: Znanost in tehnologija
696611 (4956) Thomas

Več podobnih tem