Prijavi se z GoogleID

» »

Izgubili smo še v pokru

Izgubili smo še v pokru

Slo-Tech - Na 20-dnevnem turnirju BrainsVsAI, ki je potekal v Rivers Casinoju v Pittsburghu, je človeštvo moralo priznati še eno zmago umetni inteligenci. Po več kot 120.000 odigranih partijah pokra heads-up no-limit Texas Hold'em je umetna inteligenca po imenu Libratus, ki jo je razvila Carneige Mellon University, prepričljivo premagala štiri človeške velemojstre. Podoben turnir je potekal tudi leta 2015, ko so bili ljudje še boljši od računalnika.

Toda dve leti sta dolga doba in to pot Dong Kim, Jason Les, Jimmy Chou in Daniel McAulay niso bili kos Libratusu. Ob tem je treba priznati, da je imel slednji nekaj prednosti, saj je delal dan in noč. Podnevi je igral poker, ponoči pa je preračunal igre in se učil na podlagi odigranih partij, tako da je bil vsak dan pametnejši. To se je izkazalo tudi tekom turnirja, saj je po polovici turnirja začel prepričljivo dobivati. Na koncu si je prigrabil za 1,76 milijona dolarjev žetonov, statistično pa je njegova zmaga 99,7-odstotno posledica znanja in ne sreče.

V preteklosti so se raziskovalci precej trudili z razvojem umetne inteligence za igranje pokra, a so imeli pri tem težave. Ugotovili so, da je za zdaj še nemogoče kopirati človeško igranje, ki v veliki meri izkorišča slabosti soigralcev. Namesto tega se je Liberatus osredotočil na to, da bi sam igra čim popolneje. Lani je umetna inteligenca zmagala v goju, poker pa predstavlja naslednji pomemben mejnik. Gre namreč za igro z nepopolnimi informacijami, kjer imajo igralci različno védenje in se morajo močno opirati na statistiko, zaradi česar je igra podobna realnim problemom. Go, šah in podobno so igre, kjer imajo vsi igralci enake (in popolne) informacije.

Libratus, ki ga je poganjalo 15 milijonov jeder, je zmagoval 14,7 velikih blindov na 100 partij, kar je zelo dober rezultat. Ob tem je Libratus potrdil tudi dejstvo, ki ga bodo igralci pokra zelo veseli, saj ga že ves čas zagovarjajo. Poker ob zadostnem številu odigranih partij ni igra na srečo, temveč je rezultat odvisen od znanja in sposobnosti igralca.

56 komentarjev

strani: « 1 2

Jst ::

>Poker ob zadostnem številu odigranih partij ni igra na srečo, temveč je rezultat odvisen od znanja in sposobnosti igralca.

Jaz sem pred leti padel v poker. Texas Holdem.

Prvo sem izgubil vseh 500 EUR.

Nato sem z 500 EUR prišel na 100 EUR in teh iz 100EUR se je počasi, v parih tednih, nabralo dobrih 900 EUR.

Potem sem cashout in nehal igrati.

Igral sem pa tudi po šest ur. Ponavadi zvečer od 22ih do 4ih zjutraj.

Več časa ko sem bil za mizo z istimi igralci, več sem zmagoval oz. manj izgubljal. Na začetku, prve pol ure, sem vedno igral previdno in za male zneske, potem pa, ko sem malo "skapiral" nasprotnike, sem pa igral tudi za večje vsote, ko so bile na mizi.

In glede na to, da se je računalnik učil prejšnje partije igralcev, predvidevam, da si je naredil statistični model za vkasega igralca posebej. Kar se mi pa ne zdi nevem kako velik dosežek.

Noro bi bilo, če bi brez informacij o prejšnjih igrah nasprotnikov, zmagoval. Lahko tudi z kamero, da bi se naučil "poker face".
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|

antonija ::

In glede na to, da se je računalnik učil prejšnje partije igralcev, predvidevam, da si je naredil statistični model za vkasega igralca posebej. Kar se mi pa ne zdi nevem kako velik dosežek.
Ampak tistile 4je mozakarji so le tako dobri pokerasi, da jim nebi smel biti problem vsake toliko malo zamenjat strategijo, stil igranja, itd. Variirajo lahko marsikaj samo zato da zjebejo "naucen AI". Samo da v tem primeru so igrali proti "ucecemu AIju", tako da jim tudi "nagajanje" ni moglo pomagati.

Sprijaznit se bo treba da cloveski mozgani niso nek uber nenadomestljivi stroj. In pa da ze danes lahko marsikaj bolj uspesno izvedemo na siliciju, kot pa z mozgani.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

mgermo ::

"...prepričljivo premagala štiri človeške velemojstre..."
To ni šah. V pokru ni mojstrov in velemojstrov, so samo proji.
In ja, če poker strani ne bodo zaznale in banale bote, bo folk neho igrat, ker kot se je izkazalo smo inferiorni.

vostok_1 ::

To bi bilo smeh ja, kar komplet industrija bi propadla.

Kako pa boš loču bota od človeka prek neta? Razen če snemaš vsako tvojo potezo live stream.
There will be chutes!

Jst ::

Poker je neumno igrati proti računalniku.

Ves point pokra so človeški nasprotniki in pogovor, zajebancija, fejkanje, hvaljenje, zmerjanje - v pozitivnem smislu.

Velikokrat smo igrali s kolegi poker samo z žetoni, pa so minile ure tik tak, obenem smo se pa dobro imeli. Imamo tudi takšna pravila, da ko nekomu zmanjka žetonov, se spet porazdelijo (in variacije, seveda; če samo en izgubi vse žetone, da se igra še arbitrarno nadaljuje, dokler se ne izpolni drug kriterij). Ponavadi, če smo se za to odločili, smo zapisovali ali kdo je največkrat izgubil ali kdo je imel največkrat največ žetonov, pred razdelitvijo. In ponavadi se zmenimo, da looser naslednjič plača kosilo, ali karkoli,...

Med kolegi smo samo enkrat igrali za denar, vsak je moral prinesti 200 EUR, 8 nas je bilo in winner takes all (končali prej, trije smo ostali, a ker se je že delal dan, smo zaključili). Pa smo ugotovili, da ni dobra ideja. Ne zaradi izgube denarja, ampak ker ni tistega zabavnega vzdušja.


---

Sicer pa tudi Proji, recimo ko je kakšen zmagal dva zaporedna velika turnirja, potem pa izpade že v prvi noči. Človek dobil 10 krat slabe karte, dvakrat je imel nesrečo, ko je imel recimo Flush, drugi pa Four of a kind, pa je izpadel. Ni pa zaradi tega "tako" padel v "formi."

Zato je zame osebno Holdem prvo "umetnost" & dobra družba s kolegi, šele potem tekmovanje.

Nisem imel iluzije, da računalnik ne bi premagal človeka, ampak pri takšni vrsti igre, se sprašujem "what's the point?"
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|

leiito ::

Jst je izjavil:

Poker je neumno igrati proti računalniku.

Ves point pokra so človeški nasprotniki in pogovor, zajebancija, fejkanje, hvaljenje, zmerjanje - v pozitivnem smislu.

Velikokrat smo igrali s kolegi poker samo z žetoni, pa so minile ure tik tak, obenem smo se pa dobro imeli. Imamo tudi takšna pravila, da ko nekomu zmanjka žetonov, se spet porazdelijo (in variacije, seveda; če samo en izgubi vse žetone, da se igra še arbitrarno nadaljuje, dokler se ne izpolni drug kriterij). Ponavadi, če smo se za to odločili, smo zapisovali ali kdo je največkrat izgubil ali kdo je imel največkrat največ žetonov, pred razdelitvijo. In ponavadi se zmenimo, da looser naslednjič plača kosilo, ali karkoli,...

Med kolegi smo samo enkrat igrali za denar, vsak je moral prinesti 200 EUR, 8 nas je bilo in winner takes all (končali prej, trije smo ostali, a ker se je že delal dan, smo zaključili). Pa smo ugotovili, da ni dobra ideja. Ne zaradi izgube denarja, ampak ker ni tistega zabavnega vzdušja.


---

Sicer pa tudi Proji, recimo ko je kakšen zmagal dva zaporedna velika turnirja, potem pa izpade že v prvi noči. Človek dobil 10 krat slabe karte, dvakrat je imel nesrečo, ko je imel recimo Flush, drugi pa Four of a kind, pa je izpadel. Ni pa zaradi tega "tako" padel v "formi."

Zato je zame osebno Holdem prvo "umetnost" & dobra družba s kolegi, šele potem tekmovanje.

Nisem imel iluzije, da računalnik ne bi premagal človeka, ampak pri takšni vrsti igre, se sprašujem "what's the point?"


Če iz pokra izključiš denar, igraš za šibice ali karkoli že, si iz igre izločil tudi enega ključnih elementov igre, namreč denar kot instrument pritiska. To je potem neka igra bolj a la tarok, ni več poker. Ideja "zabavnega" pokra je, da družba igra za zneske, kjer izguba ne bo ravno povzročila finančnega propada, ampak še vedno za dovolj visoke vsote, da igralcem ni povsem vseeno, ali dobijo ali izgubijo. Sicer se igra izrodi v crapshoot, vsak hand je 5 all-inov.

Poleg tega, ampak to se nanaša na druge komentarje in članek sam, računalnik še ne premaguje človeka v pokru na splošno, ampak samo v heads-up Texas Hold'em, v eni od variant pokra in to izključno v igri ena na ena. Pa še v to nisem povsem prepričan, ena igra ni dovolj, da bi decidirano delal take sklepe, bi moral računalnik odigrati par stotisoč handov proti večjemu številu nasprotnikov.

Jst je izjavil:

>Poker ob zadostnem številu odigranih partij ni igra na srečo, temveč je rezultat odvisen od znanja in sposobnosti igralca.

Jaz sem pred leti padel v poker. Texas Holdem.

Prvo sem izgubil vseh 500 EUR.

Nato sem z 500 EUR prišel na 100 EUR in teh iz 100EUR se je počasi, v parih tednih, nabralo dobrih 900 EUR.

Potem sem cashout in nehal igrati.

Igral sem pa tudi po šest ur. Ponavadi zvečer od 22ih do 4ih zjutraj.

Več časa ko sem bil za mizo z istimi igralci, več sem zmagoval oz. manj izgubljal. Na začetku, prve pol ure, sem vedno igral previdno in za male zneske, potem pa, ko sem malo "skapiral" nasprotnike, sem pa igral tudi za večje vsote, ko so bile na mizi.

In glede na to, da se je računalnik učil prejšnje partije igralcev, predvidevam, da si je naredil statistični model za vkasega igralca posebej. Kar se mi pa ne zdi nevem kako velik dosežek.

Noro bi bilo, če bi brez informacij o prejšnjih igrah nasprotnikov, zmagoval. Lahko tudi z kamero, da bi se naučil "poker face".


Kako si pa to dosegel, da si igral za večje vsote, potem ko si "skapiral" igralce za mizo? Ste se vsi prijeli za rokce in šli na drugo mizo z večjim big blindom?

antonija je izjavil:

In glede na to, da se je računalnik učil prejšnje partije igralcev, predvidevam, da si je naredil statistični model za vkasega igralca posebej. Kar se mi pa ne zdi nevem kako velik dosežek.
Ampak tistile 4je mozakarji so le tako dobri pokerasi, da jim nebi smel biti problem vsake toliko malo zamenjat strategijo, stil igranja, itd. Variirajo lahko marsikaj samo zato da zjebejo "naucen AI". Samo da v tem primeru so igrali proti "ucecemu AIju", tako da jim tudi "nagajanje" ni moglo pomagati.

Sprijaznit se bo treba da cloveski mozgani niso nek uber nenadomestljivi stroj. In pa da ze danes lahko marsikaj bolj uspesno izvedemo na siliciju, kot pa z mozgani.


Ne gre za strategijo, gre za tendence, vsi jih imamo, računalnik jih pa, vsaj tako se zdi, bolje in hitreje prepoznava in razvija eksploitativno strategijo prilagojeno tendencam.

Zgodovina sprememb…

  • spremenil: leiito ()

hdsdwn ::

tele štrije ne sodijo niti približno med najboljše. je pa vsekakor viden premik v smeri izboljšave umetne pameti.

leiito ::

Prav na slepo ti štirje najbrž niso bli izbrani, heads-up proti botu je za take nerde, najbrž nisi Tom Dwana pričakoval.

Doug Polk, ki ve o čem govori in je igral proti AI v prejšnjem poskusu, in igralci, povejo par zanimivih stvari:
Igra je bila fizično izjemno naporna, brez pavz in prostih dnevov, to gre gotovo v prid bota, človek. E igra ves čas enako dobro.

Uvedli so equity chop, pri all-in handih je vsak igralec dobil svoj equity, sploh se ni šlo v flop..., kar zmanjša varianco oz. reducira faktor sreče.

leiito ::

hdsdwn je izjavil:

tele štrije ne sodijo niti približno med najboljše. je pa vsekakor viden premik v smeri izboljšave umetne pameti.


Tudi jaz nisem poznal nobenega od teh štirih, heads-up keš iger najvišje ravni niti ne vidimo pogosto, ampak vsi štirje sodijo, po mnenju projev, v top 10 ali 15 najboljših heads-up igralcev. Zaradi česar so jih tudi izbrali.

hdsdwn ::

No, saj si sam priznal, da nimaš pojma o čem govoriš. še zdaleč ne spadajo med med top 1000 v hu cash igri (Doug Polk pa je trenutno verjetno med top 100, da).

Predlagam, da si pred zagovarjanjem izjav malo pogledaš njihove rezultate na Hendon Mob ali pa High Stakes Data Base (npr. Dong Kim HM 140k plusa in HSDB 300k (imaš v sloveniji trenutno najmanj 50 boljših igralcev hu casha)).

S4ul3 ::

hdsdwn je izjavil:

No, saj si sam priznal, da nimaš pojma o čem govoriš. še zdaleč ne spadajo med med top 1000 v hu cash igri (Doug Polk pa je trenutno verjetno med top 100, da).

Predlagam, da si pred zagovarjanjem izjav malo pogledaš njihove rezultate na Hendon Mob ali pa High Stakes Data Base (npr. Dong Kim HM 140k plusa in HSDB 300k (imaš v sloveniji trenutno najmanj 50 boljših igralcev hu casha)).


Je povsem irelevantno ali so med najboljših 100 ali ne. Takeaway novice je, da AI razume koncept igre. No turning back :) Cash poker preko interneta se bo igral samo še AI vs AI.

GupeM ::

Ta zmaga je "daleč" od tega, da bi bil AI boljši od človeka. Variant Texas Hold'ema je toliko, da jih še našteti ne znam, tale AI pa je igral samo no limit head's up. To pomeni eden proti enemu. Če bi igral za mizo s 5-9 igralci nima za burek. Vsaj upam da (še) ne :D

gruntfürmich ::

leiito je izjavil:

Če iz pokra izključiš denar, igraš za šibice ali karkoli že, si iz igre izločil tudi enega ključnih elementov igre, namreč denar kot instrument pritiska.

gostilniški prijateljski poker je po mojih izkušnjah najboljši z 5EUR vložka in turnirski sistem, vendar ne do zadnjega ampak do zadnjih dveh (prej se konča), ki si sorazmerno razdelita dobiček. in takih iger se lahko gre v enem večeru veliko, in nobeden ni predolgo izključen da ne bi počakal še na naslednjo rundo.
vse druga je igra živcev in odiranja in ne zajebancije.
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...

Zgodovina sprememb…

nevone ::

Kako si pa to dosegel, da si igral za večje vsote, potem ko si "skapiral" igralce za mizo? Ste se vsi prijeli za rokce in šli na drugo mizo z večjim big blindom?


Človek težko igra tako, da bi ga bilo nemogoče skapirat vsaj delno, kar v nekaterih primerih povsem zadošča.

In ne misliti, da človek ni zmožen skapirat (brez narekovajev) soigralce.

o+ nevone
Rather we will eat the Space or Space will eat us.

Grey ::

Ampak to je bil totalen asimetričen warfare. Računalnik nima obraza, nima mimike, super spomin in ima vedno upper hand zaradi teh prednosti. Tako, da edino kar so s tem dokazali je to, da če imaš processing upper hand, imaš ogromno prednost pri igranju te igre. Če so vsi na enakem, level playing field, pa je to igra na srečo, ker je vse odvisno od tega, kakšno roko si dobil. Kaj bi se zgodilo, če bi vrgli not namesto ostalih igralcev Libratuse in bi bila igra petih Libratusov? Bi Libratusi začeli kopirati drug drugega? Predvidevam, da bi potem prišla nazaj sreča, kako je igralec dobil karte, ker so mentalno vsi enako sposobni.

Tako, da primarno je to igra na srečo, sekundarno pa igra sposobnosti posameznega igralca, no debate. Tako, da imata obe strani prav. In tista ki trdi, da je poker igra na srečo in tista, ki pravi, da je igra skilla. Odvisno pač na kateri nivo se posameznik osredotoča, ko govori o tem. Ali na srž igre (igra na srečo) ali na tisto, kar izgleda da igra je (skill igra).

antonija ::

Če so vsi na enakem, level playing field, pa je to igra na srečo, ker je vse odvisno od tega, kakšno roko si dobil.
Pa si prebral del novice, kjer tudi ljudje pravijo da smo koncno dobili potrditev, da ti (samo) igra srece, ampak ima znanje velik vpliv na dolgorocni rezultat? Ker na dolgi rok vsaka "igra srece" postane "igra verjetnosti" oz. "igra statistike", in se faktor srece bolj-kot-ne izloci iz enacbe.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

jype ::

Grey ::

antonija je izjavil:

Če so vsi na enakem, level playing field, pa je to igra na srečo, ker je vse odvisno od tega, kakšno roko si dobil.
Pa si prebral del novice, kjer tudi ljudje pravijo da smo koncno dobili potrditev, da ti (samo) igra srece, ampak ima znanje velik vpliv na dolgorocni rezultat? Ker na dolgi rok vsaka "igra srece" postane "igra verjetnosti" oz. "igra statistike", in se faktor srece bolj-kot-ne izloci iz enacbe.

Seveda. Lahko rečemo, vsaka igra je igra statistike in verjetnosti, a sreče ne moreš izključiti, ker je intristično povezana s statistiko in verjetnostjo. Sreča pa je asimptotična točka v neskončnosti, ko gledaš nek pojav in ocenjuješ ali bo ali ne bo in imaš neskončno možnosti. Ni metafizičen pojav, ampak je arhaična beseda za amalgam verjetnosti in statistike.

...,ampak ima znanje velik vpliv na dolgorocni rezultat?
Še enkrat preberi, kaj sem napisal in povej, če sem napisal drugače od tega italic texta ter v kakem kontekstu sem to napisal. Da neko stvar razumeš v srži, jo moraš vedno razbiti na nedeljive dele in najti ključno stvar v sistemu, ki je odgovorna za obstoj/delovanje.

c3p0 ::

jype je izjavil:

Ne morem pogruntat, a se mi reži v obraz, al ga je strah. Kako nej potem vem, kakšne karte ma?


V online igri tega tudi ni, pa pro-ji ne trpijo kaj dosti zaradi tega.

leiito ::

nevone je izjavil:

Kako si pa to dosegel, da si igral za večje vsote, potem ko si "skapiral" igralce za mizo? Ste se vsi prijeli za rokce in šli na drugo mizo z večjim big blindom?


Človek težko igra tako, da bi ga bilo nemogoče skapirat vsaj delno, kar v nekaterih primerih povsem zadošča.

In ne misliti, da človek ni zmožen skapirat (brez narekovajev) soigralce.

o+ nevone


Nikjer nisem trdil, da ni sposoben "skapirat" soigralcev, ampak da ne razumem je kako lahko z istimi igralci igraš najprej za manjše vsote, potem za večje, ne da bi zamenjal mizo za takšnim z večjim big blindom ali bolj deep stacki.

Vsaka miza, limit ali no limit, ima definiran big blind. npr. $1 in buy-in ki je tipično 100 big blindov. Na taki mizi začnejo (skoraj) vsi s $100 in če hočeš igrati za več, kjer bo big blind npr. $5 in buyin $500, moraš te iste igralce prepričat, da grejo za drugo mizo z višjim blindom in buyinom, kar je malo verjetno.

jype ::

Sago> V online igri tega tudi ni, pa pro-ji ne trpijo kaj dosti zaradi tega.

Pozor: Bila je le šala.

perci ::

Poker ni šala. :)

leiito ::

hdsdwn je izjavil:

No, saj si sam priznal, da nimaš pojma o čem govoriš. še zdaleč ne spadajo med med top 1000 v hu cash igri (Doug Polk pa je trenutno verjetno med top 100, da).

Predlagam, da si pred zagovarjanjem izjav malo pogledaš njihove rezultate na Hendon Mob ali pa High Stakes Data Base (npr. Dong Kim HM 140k plusa in HSDB 300k (imaš v sloveniji trenutno najmanj 50 boljših igralcev hu casha)).


Res je, jaz ne poznam weltklasse heads-up hold'em projev, ampak zaupam oceni Doug Polka, ki je sam igral proti AI pred dvema letoma, in zmagal, ki je sam vrhunski igralec z $10 mio + prisluženega denarja, ki je v heads-up razbijal igralce kalibra Tom Dwan ali Isildur in za katerega je nekako konsenz, da je #1 v texas hold'em heads up igri. On pove v pogovoru z njimi, da so po njegovem mnenju in mnenju drugih projev ti štirje med top 10 ali top 15 najboljših heads-up igralcev holdema na svtu.

Da je v Sloveniji najmanj 50 boljših igralcev heads-up holdema kot si ti štirje, je enako kot bi rekel, da je v Sloveniji 50 boljših fuzbalerjev od Messija, samo nekako jih nihče ne pozna.
https://www.pokertube.com/poker-news/po...

NikolormousB ::

Predvidevam, da bi potem prišla nazaj sreča, kako je igralec dobil karte, ker so mentalno vsi enako sposobni.


Na dolgi rok vsi dobijo iste karte.

tikitoki ::

GupeM je izjavil:

Ta zmaga je "daleč" od tega, da bi bil AI boljši od človeka. Variant Texas Hold'ema je toliko, da jih še našteti ne znam, tale AI pa je igral samo no limit head's up. To pomeni eden proti enemu. Če bi igral za mizo s 5-9 igralci nima za burek. Vsaj upam da (še) ne :D


Good point.

NikolormousB je izjavil:

Predvidevam, da bi potem prišla nazaj sreča, kako je igralec dobil karte, ker so mentalno vsi enako sposobni.


Na dolgi rok vsi dobijo iste karte.


Na tisti dolgi rok, ki ga tak preizkus ni bil mozen zagotoviti?

Zgodovina sprememb…

  • spremenilo: tikitoki ()

NikolormousB ::

Če smo pošteni, element sreče skoraj nikoli povsem ne izgine. Ampak 120.000 handov bi moralo biti dovolj, da sreča nima več bistvenega vpliva.

GupeM ::

Zanimiv eksperiment: Kako bi igrala dva taka AI-ja med sabo? Tukaj bi verjetno prevladal element sreče, glede na to, da bi se oba enako dobro/slabo odločala?

srus ::

AI je postala boljša od človeka, ne samo v znanju, sklepanju in strategiji, ampak sedaj tudi v blefiranju.

Konec sveta.

Rok Woot ::

NikolormousB je izjavil:

Če smo pošteni, element sreče skoraj nikoli povsem ne izgine. Ampak 120.000 handov bi moralo biti dovolj, da sreča nima več bistvenega vpliva.


Brez skoraj, element sreče nikoli povsem ne izgine. Tudi opica lahko premaga velemojstra v šahu, je pa tak dogodek zelo neverjeten.

antonija ::

Element srece pri veliko ponovitvah _vedno_ izgine. Ce vzamemo idealen (neobremenjen) met kovanca: ce ga vrzemo dovolj velikokrat, bomo dobili rezultat 50/50. _Vedno_.

Isto bo pri dovolj velikem stevilu iger pokra: ce ima nekdo sistematicno prednost, se bo le-ta vedno bolj iskazovala ko se bo vecalo stevilo partij, ker se bo standardni odmik nizal. In SD se _vedno_ zniza ce se stevilo ponovitev zvisa, razen ce se ponovitve ne zacnejo drugace obnasati.

Kar pa nekatere zmoti je pa to, da _nikoli_ ne vemo kako se bo en (1) met kovanca koncal. In priblizno isto velja za en (1) hand pri pokru: zmaga ga lahko tudi opica. Ali pa kokoska. Ali pa pro. Ali pa AI. Za vsak posamezen hand tega ne vemo _nikoli_.
Amapk z dovolj velikim stevilom handov bosta tako kokoska, kot opica in tudi nejboljsi cloveski igralec izgubila proti AIju, ker slednji naredi manj napak in si pridobi sistematicno prednost.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Rok Woot ::

antonija je izjavil:

Element srece pri veliko ponovitvah _vedno_ izgine. Ce vzamemo idealen (neobremenjen) met kovanca: ce ga vrzemo dovolj velikokrat, bomo dobili rezultat 50/50. _Vedno_.

To ni res, ubistvu ne be nikoli točno 50/50. Kako pa je lahko, če je recimo število metov neparno? Se pa načeloma strinjam. Pa tudi kaj je dosti velik vzorec je problem.

Zgodovina sprememb…

  • spremenilo: Rok Woot ()

antonija ::

Ce se mece idealen kovanec (katerega izid meta ni obremenjen v nobeno smer), potem bo pri doovlj velikem stevilu izid 50/50. Tudi ce je stevilo metov neparno, bo razmerje se vedno 50/50, ker bo stevilo dovolj visoko da 1 rezultat ne bo imel signifikantnega vpliva na koncno verjetnost/razmerje.

Kar je pa hudic da tudi ce vrzes kovanec nestetokrat, za naslednji met spet nimas pojma kaj bo. Lahko je karkoli, nic ne mores napovedat. Lahko pa zelo zelo natancno napoves za nasldnjih 100.000 ali pa za 1.000.000 metov kaksen bo izzid.

in isto je pri tejle novici: po odigranih 120.000 handih je AI zmagal. Sicer za 120.001 hand ne moremo napovedati kdo bi zmagal, ampak za hande od 120.001 do 240.000 pa lahko (glede na novico) z 99.7% verjetnostjo trdimo, da bi zmagal AI. Tiste 0.3% pa naj bi bilo odvisnih od srece. (tele zadnji % so sicer iz statisticnega vidika "posiljeni", ker novica nikjer ne razlozi kaj tocno pomenijo)
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Grey ::

antonija je izjavil:

Element srece pri veliko ponovitvah _vedno_ izgine. Ce vzamemo idealen (neobremenjen) met kovanca: ce ga vrzemo dovolj velikokrat, bomo dobili rezultat 50/50. _Vedno_.

Isto bo pri dovolj velikem stevilu iger pokra: ce ima nekdo sistematicno prednost, se bo le-ta vedno bolj iskazovala ko se bo vecalo stevilo partij, ker se bo standardni odmik nizal. In SD se _vedno_ zniza ce se stevilo ponovitev zvisa, razen ce se ponovitve ne zacnejo drugace obnasati.

Kar pa nekatere zmoti je pa to, da _nikoli_ ne vemo kako se bo en (1) met kovanca koncal. In priblizno isto velja za en (1) hand pri pokru: zmaga ga lahko tudi opica. Ali pa kokoska. Ali pa pro. Ali pa AI. Za vsak posamezen hand tega ne vemo _nikoli_.
Amapk z dovolj velikim stevilom handov bosta tako kokoska, kot opica in tudi nejboljsi cloveski igralec izgubila proti AIju, ker slednji naredi manj napak in si pridobi sistematicno prednost.

"Element sreče pri veliko ponovitvah _vedno_ izgine." -> "Ce vzamemo idealen (neobremenjen) met kovanca: ce ga vrzemo dovolj velikokrat, bomo dobili rezultat 50/50. _Vedno_"
Tole se izključuje, ker 50/50 je še vedno vmes faktor sreče, katero od teh 50tk boš fasal.

In ravno to je...sreči (verjetnost in statistika) ne moreš nikoli uit, ker velja kar si rekel: "...to, da _nikoli_ ne vemo kako se bo en (1) met kovanca koncal. In priblizno isto velja za en (1) hand pri pokru..."
Če gledaš, da nimaš nobenih drugih inputov (body language), bo igra vedno true random in vedno podvržena goli statistiki in tvojemu upanju, da si stavil na pravo karto.

Tudi tako je...AI ima veliko prednost na začetku, ker si bolje in hitreje zapomni. Ampak tu je zanemarjen fakt, da se tudi človek uči, le počasneje. Sčasoma bo človek dojel, da se tudi AI ponavlja, ker verjetno uporablja vedno zelo podobne strategije proti njemu, ker ga je AI že prej "pogruntal". Potem bo, ker bo človek prilagodil strategijo, AI spet za trenutek izgubil, dokler le ta ne bo "pogruntal" nove človeške strategije. Igra se bo na extremno dolgi rok menjavala kot jin in jang.

Rok Woot ::

antonija je izjavil:

Ce se mece idealen kovanec (katerega izid meta ni obremenjen v nobeno smer), potem bo pri doovlj velikem stevilu izid 50/50. Tudi ce je stevilo metov neparno, bo razmerje se vedno 50/50, ker bo stevilo dovolj visoko da 1 rezultat ne bo imel signifikantnega vpliva na koncno verjetnost/razmerje.


Pač ni res. Govoriš točno 50% brez decimalk? Potem ne drži. S tem da lahko vržeš kovanec miljardokrat pa nikoli ne pade grb. Sam je pa verjetnost za to bo (Miljarda)!/(miljarda x 2^miljarda). Še vedno ne pomeni, da se nemore zgoditi. Koliko je torej dovolj veliko število za met kovanca po tvojem mnenju?

Načeloma se rezultate podaja na način, kot je v članku. Računalnik je s 97% procentno verjtnostjo za 2% boljši od človeka.

Kar se pa tebe Grey tiče, ti pa si raje preberi kako knjigo o verjetnosti, ker ti niso jasne osnove.

Grey ::

Rok Woot je izjavil:

antonija je izjavil:

Ce se mece idealen kovanec (katerega izid meta ni obremenjen v nobeno smer), potem bo pri doovlj velikem stevilu izid 50/50. Tudi ce je stevilo metov neparno, bo razmerje se vedno 50/50, ker bo stevilo dovolj visoko da 1 rezultat ne bo imel signifikantnega vpliva na koncno verjetnost/razmerje.
Kar se pa tebe Grey tiče, ti pa si raje preberi kako knjigo o verjetnosti, ker ti niso jasne osnove.

S čim se ne strinjaš?

Rok Woot ::

"Če gledaš, da nimaš nobenih drugih inputov (body language), bo igra vedno true random in vedno podvržena goli statistiki in tvojemu upanju, da si stavil na pravo karto."

Nevem kak true random in kakemu upanju. Če jaz igram s tabo poker, bom delal pač boljše odločitve. In z velikim številom rok, imam zelo veliko verjetnost, da te premagam za veliko enot.

"odil strategijo, AI spet za trenutek izgubil, dokler le ta ne bo "pogruntal" nove človeške strategije. Igra se bo na extremno dolgi rok menjavala kot jin in jang."

Spet ni res, saj poizkuša AI igrati čim bolj optimalno igro in človeški možgani pač popušijo. Ali se pri šahu sedaj menjava ta jing jang?

"Tole se izključuje, ker 50/50 je še vedno vmes faktor sreče, katero od teh 50tk boš fasal."

Tega pa enostavno ne razumem, če kdo drug, naj mi prosim razloži.

antonija ::

Rok Woot je izjavil:

Pač ni res. Govoriš točno 50% brez decimalk? Potem ne drži.
No, ce gremo komplicirat do posameznega meta, potem smo spet pri problemu, da doticna statistika cisto nic ne pove o posameznem dogodku, ampak o veliki populaciji dogodkov. In ce clanek operira z odstotoki na 1 decimlako, potem je tezko iz tega napovedati natancnost se za vse ostalke decimalke ki manjkajo med stotinami in stotisocinami ali miljardinami.

Rok Woot je izjavil:

S tem da lahko vržeš kovanec miljardokrat pa nikoli ne pade grb. Sam je pa verjetnost za to bo (Miljarda)!/(miljarda x 2^miljarda). Še vedno ne pomeni, da se nemore zgoditi.
Se huje: vseh milijardo metov lahko koncas na robu kovanca, se pravi brez rezultata. Se manjsa verjetnost ampak razlicna od nic.
Ampak ce smo iskreni, za vse prakticne namene lahko tako verjetnost mirno zaokrozimo na 0 in se strinjamo, da s tem ne storimo (pre)velike napake.

Rok Woot je izjavil:

Koliko je torej dovolj veliko število za met kovanca po tvojem mnenju?
Odvisno od standardnega odmika izbrane meritve in pa zeljene natancnosti napovedi statistike. Pri idealnem kovancu (popolnoma pravilen valj iz homogenega materiala) bi na uc rekel da bi po 1000+ metih ze zelo dobro imel izracunanih 50% brez decimalk, mogoce ze prej. Ampak to je na uc, bi treba blo metat in sproti racunat.

Rok Woot je izjavil:

Kar se pa tebe Grey tiče, ti pa si raje preberi kako knjigo o verjetnosti, ker ti niso jasne osnove.
Greyu bova pa dala se malo casa, de spozna da doticna statistika ne pove nicesar o posameznem dogodku, samo povzame rezultat velikega stevila dogodkov.

Derren Brown je v eni oddaji pokazal, da lahko 10x zapored vrze kovanec v stekleno skledo, in se bo vsakic obrnil na isto stran.
Na koncu oddaje tudi razlozi kako mu je ta podvig uspel.
Mogoce bo s tem komu bolj jasno kaj pomeni metat kovanec ali igrat poker 1-10x, kaj pa 100.000x.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

leiito ::

uvedli so equity chop in mirror hands, da se je faktor sreče oz. varianca zmanjšala, baje za 25%.

Eden od igralcev pove zanimivost o strategiji bota iz small blinda, prve dni je počel vse sorte; fold, limp, min raise, 2.5x, 3x, po štirih dneh pa povsem spremenil SB strategijo in vsakič prišel z 2.5x. Kreatorji programa jim niso želeli pojasniti zakaj.

Druga zanimivost je nekonvencionalna višina stav, skoraj vsi igralci stavijo bodisi 40-50% pota, bodisi pot, kar lahko, če je tendenca, izdaja hand, z višino stave pokažeš ali gre za c-bet, pot control, blok blefa ali blef sam, value bet etc., z nekonvencionalno višino stav je bot uvedel zanimivo novost.

Malo preseneča, da je na tem forumu tako malo igralcev pokra, sploh glede na znanje statistike in računalništva, ker poker je res znanje in disciplina in če dobro premašaš emocionalna nihanja, potencialno zelo donosna dejavnost, tudi zato, ker je za grinderje vir dohodka rake back, delež od tistega, kar gre sicer poker roomu, tako da lahko igralci, če veliko igrajo, ustvarjajo lep dohodek, tudi če njihov winrate ni nič posebnega ali so celo na nuli.

nevone ::

Izgubili smo še v pokru.


Kdo to? Mi smo zmagali.

o+ nevone
Rather we will eat the Space or Space will eat us.

Grey ::

Rok Woot je izjavil:

"Če gledaš, da nimaš nobenih drugih inputov (body language), bo igra vedno true random in vedno podvržena goli statistiki in tvojemu upanju, da si stavil na pravo karto."

Nevem kak true random in kakemu upanju. Če jaz igram s tabo poker, bom delal pač boljše odločitve. In z velikim številom rok, imam zelo veliko verjetnost, da te premagam za veliko enot.

"odil strategijo, AI spet za trenutek izgubil, dokler le ta ne bo "pogruntal" nove človeške strategije. Igra se bo na extremno dolgi rok menjavala kot jin in jang."

Spet ni res, saj poizkuša AI igrati čim bolj optimalno igro in človeški možgani pač popušijo. Ali se pri šahu sedaj menjava ta jing jang?

"Tole se izključuje, ker 50/50 je še vedno vmes faktor sreče, katero od teh 50tk boš fasal."

Tega pa enostavno ne razumem, če kdo drug, naj mi prosim razloži.

Lej ne vem, ampak to bom pustil v svetu probabilitya :)

Zakaj mešati poker in šah? Poker je v osnovi random igra, ker vsako rundo dobiš nek random hand. Šah pa je drugačna zver, kjer se igra začne samo enkrat in vse figure vedno začnejo na enaki poziciji, zato igra ni niti malo odvisna od random eventa, ampak od analize trenutne postavitve figur ter simulacije možnih premikov v naprej.

Če igraš proti nekomu (AI), ki je izračunal vse možnosti je tako kot bi igral proti Bogu ali pa Casino botu - impossible game, kjer ima hiša vedno upper hand.

Z drugimi besedami, tista dva stavka se logično izključujeta (si nasprotujeta). Ker je vedno za vsak met posebej 50% možnosti, da dobiš tisto, kar si stavil (heads or tails) ter 100% naključja kaj bo padlo - random event. Ravno tako kot je random event hand, ki ga dobiš pri pokru. Kolikor berem pa je uporabil random bets taktiko, ki se je tudi meni zdela na prvo žogo najbolj logična, ker potem nasprotnik ne ve, kaj imaš in te težko dobi. In če vsi igrajo true random bets je spet tako kot, da ne bi imel nič razen random handov, se pravi igra na srečo - You've been dealt a shitty or a good hand.

Saj pravim, dva Libratusa in igre ne bi bilo nikoli konec oz. bi bilo, ko bi tisti bot, ki je večkrat dobil slabši hand, izgubil vse čipe.

antonija ::

Spet se obesas na enkratne dogodke: 1 met kovanca, 1 hand. Tega statistika ne zna napovedat. Na to je glupo stavit, ker je totalno random.
Ce pa pogledas to o cemer novica govori, kar je 120.000+ handov, potem se pa zadeve zelo obrnejo. Tam pa AI prepricljivo zmaga, in tudi pri toliko metih kovanca bos vedno koncal na 50/50 (z ustrezno natancnostjo). Na to pa ne samo da ni glupo stavit, ampak se celo splaca.

Posamezni hand je zelo odvisen od srece, in nekaj od znanja in izkusenj. Ampak tistega nekaj znanja in izkusnej z vecanjem stevilom handa vedno bolj prihaja v ospredje, ker se SD zaradi srece zmanjsuje. In koncni rezultta je da AI (skoraj) vedno zmaga, in da kovanec (skoraj) vedno pade 50/50.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Grey ::

antonija je izjavil:

Spet se obesas na enkratne dogodke: 1 met kovanca, 1 hand. Tega statistika ne zna napovedat. Na to je glupo stavit, ker je totalno random.
Ce pa pogledas to o cemer novica govori, kar je 120.000+ handov, potem se pa zadeve zelo obrnejo. Tam pa AI prepricljivo zmaga, in tudi pri toliko metih kovanca bos vedno koncal na 50/50 (z ustrezno natancnostjo). Na to pa ne samo da ni glupo stavit, ampak se celo splaca.

Posamezni hand je zelo odvisen od srece, in nekaj od znanja in izkusenj. Ampak tistega nekaj znanja in izkusnej z vecanjem stevilom handa vedno bolj prihaja v ospredje, ker se SD zaradi srece zmanjsuje. In koncni rezultta je da AI (skoraj) vedno zmaga, in da kovanec (skoraj) vedno pade 50/50.

1 hand, 1 toss je vse kar šteje, ker je to osnovna enota te igre.

AI je zmagal zaradi random bet taktike. Verjetno je v tistem shotgun mode načinu na začetku, ki ga je izbral na začetku, ocenjeval, kako se človeški um odziva na to. Ko je ugotovil, da ga ne morejo pogruntat, če na dolgi rok uporablja random bets, jim je stisnil šah mat. Exploital je človeško "neumnost", ker človek misli, da lahko premaga naključje in išče vzorce tam kjer jih ni (igral je random bets). Ja, statistika ti pove razne številke, ampak nimajo velikega pomena, ker je še vedno vse podvrženo osnovni enoti igre. V bistvu so pokvarili poker, ker so izdali ultimativno "goljufijo". :)

leiito ::

To ne drži, nasprotnikov hand ni random hand, ampak range handov, ki je odvisen od števila igralcev za mizo, pozicije, stila igranja itd. Tipično igralec 80% prejetih handov takoj zapre, ne igra z njimi, naloga igralca je, da iz vsake poteze nasprotnika vleče logične sklepe in njegov range postopoma reducirati na čim manjše število možnih handov.

antonija ::

1 hand, 1 toss je vse kar šteje, ker je to osnovna enota te igre.
To je ta miselnost, ki ti preprecuje da bi videl gozd, tudi ce imas pred sabo 120.000+ dreves.

Vsak "random" (ker true random je tolk redek da ga se David Attenborough ni uspel posneti) se po dovolj poskusih zelo lepo prepise v statistiko. In ravno zaradi te statistike znamo danes napovedati marsikaj.
Recimo en primer iz naravoslovja: Razpad radioaktivnih elementov. Totalno random zadeva, za posamezen atom ne zna nihce napovedat, kdaj bo razpadel. Ampak glej ga zlomka, vsak radioaktiven izotop ima izmerjen razpolovni cas! In to pri totalno random pojavu!

Iz cesar sledi, da navidez random enkratnji dogodki se na dolgi rok pokoravajo statistiki, in na dolgi rok "1 hand, 1 toss" ne steje prav nic. Kaplja v morje statistike.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Jst ::

Kako si pa to dosegel, da si igral za večje vsote, potem ko si "skapiral" igralce za mizo? Ste se vsi prijeli za rokce in šli na drugo mizo z večjim big blindom?


Kakšna neumnost. Za isto mizo sem na začetku stavil manjše vsote in manj tvegal na Flopu, Turnu in Riverju, če sem do katere izmed faze sploh prišel in nisem prej foldal. Potem pa, ko sem že recimo pol ure igral, sem sprejemal ali višal stave, ker sem skapiral, kdaj in kako določeni posamezniki najverjetneje stavijo.

Kakšen neumen komentar si mi napisal...


---

Ko smo igrali s kolegi, smo določili, da tisti, ki največkrat izgubi, naslednji dan nekaj naredi. Recimo plača/(in) speče kosilo. Odere in speče prasca (recimo ko smo kampirali na Kolpi). Je zadolžen cel dan za vožnjo do trgovine,... In tako smo se imeli vsi fajn, ker je bila za vsakega motivacija, da najbolje igra. Obenem pa, ko v igri ostaneta samo dva ali trije, da se niso ostali dolgočasili, smo začeli znova. Kaj nimaš nič domišljije, kako se brez vključenosti denarja lahko igra tekmovalni poker in ima fajn?
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|

leiito ::

Jst je izjavil:

Kako si pa to dosegel, da si igral za večje vsote, potem ko si "skapiral" igralce za mizo? Ste se vsi prijeli za rokce in šli na drugo mizo z večjim big blindom?


Kakšna neumnost. Za isto mizo sem na začetku stavil manjše vsote in manj tvegal na Flopu, Turnu in Riverju, če sem do katere izmed faze sploh prišel in nisem prej foldal. Potem pa, ko sem že recimo pol ure igral, sem sprejemal ali višal stave, ker sem skapiral, kdaj in kako določeni posamezniki najverjetneje stavijo.

Kakšen neumen komentar si mi napisal...


---

Ko smo igrali s kolegi, smo določili, da tisti, ki največkrat izgubi, naslednji dan nekaj naredi. Recimo plača/(in) speče kosilo. Odere in speče prasca (recimo ko smo kampirali na Kolpi). Je zadolžen cel dan za vožnjo do trgovine,... In tako smo se imeli vsi fajn, ker je bila za vsakega motivacija, da najbolje igra. Obenem pa, ko v igri ostaneta samo dva ali trije, da se niso ostali dolgočasili, smo začeli znova. Kaj nimaš nič domišljije, kako se brez vključenosti denarja lahko igra tekmovalni poker in ima fajn?


Tak način igre bi bil, če je ta zgodbica resnična, povsem zgrešen, z njim ne bi tvegal manj, ampak več, ker bi se nasprotniku splačalo izenačiti te tvoje mikro stave ne glede na hand. Če bi stafil, kot razlagaš, npr. samo 20% pota, je za nasprotnika dovolj, da njegov hand zmaga v 16% primerov, kar je z implied odds že praktično vsak hand, poleg tega, kaj bi pa storil, če bi nasprotnik z višino svoje stave ali raisa z eno potezo porušil tvojo "strategijo"? Fold, ker je prevelika stava za tvojo "strategijo", ne glede na tvoj hand? Ne ga no biksat.

"Tekmovalni" poker brez denarja ne obstaja. Ne gre za pomanjkanje domišljije ali materializem, to pač ni več poker, to bi bil Črni Peter, denar in s tem povezan psihološki pritisk je osnovni element igre, če ga ni, strategije ne delujejo. Kako npr.naj bi po tvoje v taki igri lahko blefiral? Ne ga biksat, prosim.

svinja ::

Jst je izjavil:



Velikokrat smo igrali s kolegi poker samo z žetoni, pa so minile ure tik tak, obenem smo se pa dobro imeli. Imamo tudi takšna pravila, da ko nekomu zmanjka žetonov, se spet porazdelijo (in variacije, seveda; če samo en izgubi vse žetone, da se igra še arbitrarno nadaljuje, dokler se ne izpolni drug kriterij). Ponavadi, če smo se za to odločili, smo zapisovali ali kdo je največkrat izgubil ali kdo je imel največkrat največ žetonov, pred razdelitvijo. In ponavadi se zmenimo, da looser naslednjič plača kosilo, ali karkoli,...

Med kolegi smo samo enkrat igrali za denar, vsak je moral prinesti 200 EUR, 8 nas je bilo in winner takes all (končali prej, trije smo ostali, a ker se je že delal dan, smo zaključili). Pa smo ugotovili, da ni dobra ideja. Ne zaradi izgube denarja, ampak ker ni tistega zabavnega vzdušja.


---



Poker brez denarja niti slučajno ni poker, ampak bolj nalik UNO oz. črnemu petru.
Pač simpl igrica s kartami. Nobene veze s pokrom za denar, morda le na prvi pogled izgleda isto.
Seveda pa se imaš lahko vseeno prav fajn.

Zgodovina sprememb…

  • spremenilo: svinja ()

nevone ::

Poker brez denarja niti slučajno ni poker, ampak bolj nalik UNO oz. črnemu petru.


Če se vi ne znate it pokra brez denarja, še ne pomeni, da pol to ni poker.

o+ nevone
Rather we will eat the Space or Space will eat us.

leiito ::

In by the way, zato pa se poker igra za tako različne limite, od mikro EUR0.01/EUR0.02 do EUR10.000/EUR20.000 in vse vmes, vsak igra za maksimalno višino, ki mu jo njegov bankroll in/ali comfort level dopušča, nihče na svetu, razen morda v najbolj simplificiranem otroškem "pokru", ne igra tako kot ti opisuješ. Igrati za premajhne vsote je dolgočasno, ne dvigne utripa in adrenalina, igrati za previsoke vsote povzroči pa prestrašeno igro, ker imajo odločitve prevelike implikacije. Zato je tudi za "zabavno" domačo igro koristno, da igrajo med sabo osebe podobnih finančnih zmožnosti, ker če za nekoga EUR200 pomeni drobiž, za drugega pa njegov mesečni dogodek, ne bosta igrala niti blizu optimalnega ne en, ne drug.

Zgodovina sprememb…

  • spremenil: leiito ()
strani: « 1 2


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Izgubili smo še v pokru (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
568223 (4593) leiito
»

AlphaGo v goju proti človeškemu prvaku vodi 2:0 (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
9313265 (9027) Rok Woot
»

Računalnik premagal človeka v goju (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
6111444 (8327) antonija
»

Online gambling in davek?! (strani: 1 2 )

Oddelek: Loža
8111441 (7534) superman
»

Verjetnosti pri kartah (strani: 1 2 3 410 11 12 13 )

Oddelek: Znanost in tehnologija
60432334 (13541) itak37

Več podobnih tem