Človeški jezik

No pa probajmo načet eno debato o človeškem jeziku in računalniškem prevajanju med jeziki. Glede na to, da je to dokaj zanimiva tema veliko ljudem bi se morala debata razvit.

Jaz skoraj vsak dan razmišljam o tem in se da marsikaj zanimivega pogruntat. Nekaj mojih idej povezanih z jeikom: (imam jih polno, ker probam na sprehodih/na kolesu/... vsak dan dobiti eno novo idejo.)

Bistvo šal je to, da vedno opisujejo neko napako, ki pa je dovolj blaga, da ni bila tragedija. Enostaven primer: nekdo se spotakne in mi se mu režimo. Zakaj nam je to smešno? Najbrž smo s smehom ljudem in sebi pokazali, da ni treba paničarit, ampak da naj se sprostijo. Zakaj nas napake tako zanimajo? Zato, ker če pogledate malo kaj delamo velik del vzame popravljanje napak oziroma izogibanje napakam. V programiranju je to najbolj opazno, je pa tako tudi na drugih področjih. Napake so nam zanimive zato, ker je zelo koristno, če se naučimo, kako se jim izognit, izognemo pa se jim tako, da opazujemo napake od drugih, zato ljudje tako radi govorijo šale in podobne nezgode, ki so se zgodile komu ali ki bi se hipotetično lahko zgodile.

Govorjenje ni nič drugega kot naštevanje, v katere kategorije spadajo stvari. V stavku neka beseda/besedna zveza vedno opisuje neko drugo besedo/besedno zvezo, je njena lastnost. Če je nekaj lastnost nečesa pa to pomeni, da spada v kategorijo stvari, ki imajo isto lastnost. Torej ko nekaj opisujemo samo dodajamo stvari v kategorije, nič drugega. Kategoriziranje stvari je osnova inteligence, je pa to ista stvar kot ugotavljanje podobnosti stvari/analogije. Zato ker podobnost ni nič drugega kot to, da stvari spadajo v iste kategorije.

Ljudje smo genetsko nagnjeni k temu, da ne menjamo teme pogovorov preveč pogosto. Zato, ker človeški jezik tako deluje, da se veliko stvari sklepa iz konteksta. Človeški jezik je tako narejen, da se da v čimkrajšem času povedati čimveč, to pa se doseže tako, da povemo samo tisto, česar poslušalec ne more sklepati iz konteksta. Če veliko menjamo temo pogovora potem hitreje pride do nesporazuma. En primer: "Ona je blond." O čem tukaj govori? o barvi las ali o pameti? To lahko sklepamo iz teme pogovora, če govorimo o frizerstvu vemo, da o barvi las, če pa govorimo o njenem karakterju vemo, da se gre za metaforo.

Zaenkrat bo zadost, imam pa še polno idej.

Počasi tudi probavam naredit prevajalca med jeziki. Koliko mislite, da bi bil vreden en zelo dober prevajalec med slovenščino in angleščino?

Kateri je potem najboljši slo-ang prevajalnik? Google translate ali so Slovenci naredili kaj boljšega?

Glede humorja, obstaja več vej. Mene najbolj prepriča Daniel Dennet-ov Inside Jokes. Torej, smeh je reward za succesfuly reverse engineered problem.

kuall> no razen če ga ne bodo izboljšali, saj najbrž ga bodo.

Problem google translate je v tem, da slovenski jezik govori premalo ljudi, da bi strojno učenje lahko bilo tako učinkovito, kot je pri drugih jezikih.

kuall> tale statistična obdelava obstoječih prevodov ni ravno nekaj, kar ima prihodnost.

Statistična obdelava je točno to, kar tvoji možgani počnejo, ko konstruirajo govor.

kuall je 2. sep 2016 ob 11:43 izjavil:

smacker: prevajalci bi morali delati tako, da bi ti ponudili več možnih prevodov, ker tako je v praksi, več možnih pomenov imajo stavki velikokrat. Noben tega ne naredi. Primer:
Maja je tolkla po Jožetu.
lahko razumeš kot
Ona je v maju tolkla po Jožetu.
ali pa
Oseba Maja je tolkla po Jožetu.

http://presis.amebis.si/prevajanje/ ti naredi točno to, če vpišeš tale primer in potem klikneš na prevod, ti naredi seznam, v osnovi da "She beat at/on Jože in May" in "Maja beat at/on Jože".
Dodatno pa klik na vsako zeleno besedo v prevodu da alternativne prevode za to besedo.

To že, samo to je samo del prevajanja, kjer prevajamo možganščino v naravni jezik.
Za uspešno strojno prevajanje je po mojem bolj problem tisti del, ko je treba razumeti pravi pomen, za kar je kdaj potrebno, da si pravzaprav predstavljamo, kaj se dogaja, kje je kdo/kaj v prostoru, kdo so sodelujoči v pogovoru/zgodbi (da npr. za "I went" vemo, ali moramo izbrati "Šel sem" ali "Šla sem").

>Primer z Majo ne more niti človek razbrat, kako ga naj pol računalnik?

Človek ga lahko razbere, če je zraven kontekst. Če ga ne more pa pove obe možnosti, najprej pa tisto, ki je bolj verjetna (ki se enostavno bolj pogosto pojavi v praksi).

>Računalniku ne vpisuješ pravil na roke, ker se ti 90% pravil ne boš niti spomnil, niti jih računalnik ne bo razumel in znal uporabit.

Če nisi zmožen naredit niti tega, da napišeš program, ki mu boš na roke napisal pravila za neko omejeno število prevodov, kako lahko potem pričakuješ, da boš lahko napisal program, ki se bo teh pravil sam naučil? Saj potem še veš ne, česa se mora program sploh učiti.

>Ti mu pokažeš primer (to prevedi tako), on pa poskrbi da ustrezno posodobi svoje statistične modele. Podobno delujejo tudi človeški možgani - učiš se na primerih.

Že, ampak mi se ne učimo tako, da nam kdo kaže izbrane primere ampak se učimo avtomatično z opazovanjem okolice.

>http://presis.amebis.si/prevajanje/ ti naredi točno to, če vpišeš tale primer in potem klikneš na prevod, ti naredi seznam, v osnovi da "She beat at/on Jože in May" in "Maja beat at/on Jože".

No to je dokaz, da so prevajalniki, ki v osnovi bazirajo na pravilih in to priznajo, boljši. Zdej je treba samo še napisat program, ki se bo sam naučil teh pravil. Ta program je bistven, to pa google translate dela, uči se pravil.

>Sinaptične povezave nastajajo in se utrjujejo, če se podobni dražljaji ponavljajo.

Ti si zdaj razložil kako nevronske mreže delujejo. Ampak mi zna kdo razložit, kako google translate deluje? Malo bolj tehnično.
Takole si jaz to predstavljam:
Torej analizira obstoječe človeške prevode.

Kaj mora sploh pogruntat:
1. dobesedne prevode besed
2. vrstni red
3. sklanjatve
4. vsaka beseda ima več pomenov in vsak pomen se da označiti z več različnimi besedami, vsaka beseda da drug "okus" pomenu. zato mora pogruntat, katero besedo je najbolj primerno uporabit kje.

1. korak je, da poprarčka besede iz jezika 1 v jezik 2. to ni tako zakomplicirano. Vsakemu prevodu besede da verjetnost.
Primer prevoda:
jezik1: A B C
jezik2: H J K
Ker vrstni red besed ni vedno enak v vseh jezikih mora pogruntat, ali je A=H, B=J in C=K
To enostavno naredi tako, da pogleda druge prevode, kjer nastopajo te besede in če vidi npr. tole:
jezik1: A T Z
jezik2: B N H
Lahko ve, da A=H in tudi, da se vrstni red prve in zadnje besede obrne.
Tako se je naučil 2 stvari: da A=H in vzorca za vrstni red besed.

2. korak: Če bo program videl druge prevode, kjer se vrstni red podobno obrne, samo z drugimi besedami, bo te besede dal v isto kategorijo, tej kategoriji bo dal neko ime, vzorcu tudi, in potem bo imel nek vzorec, po katerem bo delal ostale prevode. Ko potem dela prevod najprej stavek prevede v vzorec, da ve, kje morajo besede stati v prevodu (včasih tudi katere dodat in odvzet), vsako besedo dobesedno prevede, ji da sklanjtev pa je.

3. Sklanjatve so zelo odvisne od vzorcev. Nič posebnega po moje.

Google translate ni nič drugega kot program, ki se sam uči pravil prevajanja. Še vedno na koncu prevaja po pravilih, to je važno. Ne bi me čudilo, če so za notrnje potrebe najprej napisali majhen rule based prevajalnik, da so lahko sploh vedeli, v kakšnem formatu shranit pravila.

Drgač pa jezik na veliko uporablja tele prvine inteligence:

1. Prepoznavanje podobnosti (analogij). Funkcija št. 1 prvih "inteligentnih" možganov je bila to, da so zaznali podobnost med stvarmi. Tako so lahko našli hrano, ki je podobna, ni pa nikoli čisto enaka. Si morete mislit, kakšno pojedino je imelo prvi inteligentno življenje, ki je prepoznala visoko hranljivo hrano v okolici, ki ni več čakalo, da hrana/energija pride do nje (v obliki sonca, kot to delajo rastline) ampak je hrano lahko zaznala, da je šla k njej in jo pojedla.
V bistvu podobnost dveh predmetov zaznaš tako, da sešteješ število lastnosti, ki jih imata enake in število lasnosti, ki jih imata drugačne. Vsaki lastnosti pa dodaš še neko pomembnost. Bistvo analogij pa je dvoje: podobnost posameznih delov (vmesni deli so lahko čisto drugačni) in podobnost razmerij med temi deli (razdalja,...).

2. Metafore. S pomočjo metafor nastajajo nove besede in besede dobijo več pomenov. Takle je mehanizem zadaj: najprej beseda označuje samo 1 pomen. Potem pa ker velikokrat tisti pomen nastopa skupaj z drugim pomenom (tako je pač svet narejen) dobi beseda še ta drugi metaforični pomen. Potem se ljudje počasi navadijo na to metaforo, če jo zelo pogosto uporabljajo in preneha bit metafora. Beseda se malo popači v izgovorjavi in dobimo novo besedo, ki označuje tisti drugi pomen. Ker so metaforične besede tako pogoste v jeziku niso redki niti metaforični stavki, fraze.

3. Asociacije. Asociacije so tako močne v jeziku, da razložijo marsikaj. Včasih se kakšen stavek zdi precej nesmiseln, ampak samo zato, ker v njem nastopajo besede, ki nas spominjajo na stvar, ki bi jo radi povedali, ga razumemo, čeprav če o njem razmislimo logično ni preveč smiselen. Primer: "Tekel sem kot hudič". A hudič hitro teče? Ne, ampak besedica hudič nas spomni, da je nekaj močno. Beseda hudič ima metaforični pomen "močno". Saj to je isto kot metafora v bistvu.

To tudi razloži, zakaj imamo ljudje radi šale, v katerih nastopajo analogije: ker take šale vklopijo 2 primarni funkciji inteligence, ki vsakemu človeku laufata na polno in uživa, ko jih uporablja. To sta iskanje napak in prepoznavo podobnosti. Naši možgani so genetsko optimizirani za njihovo uporabo. Za razliko od kakšnih drugih nalog, ki nas živcirajo, npr. matematika. Pa smo spet tam, da mora človek delat tisto, za kar so njegovi geni optimizirani, če hoče bit srečen.

@kuall: dobro razmišljaš, ampak o računalniški obdelavi naravnega jezika žal nimaš pojma. Teh pravil je preveč, da bi jih lahko ročno zapisal ali da bi si jih računalnik shranil v obliki, ki bi bila človeku razumljiva. Namesto tega, se vodijo jezikovni modeli zbirka zaporedij besed in statistični podatki (frekvenca ponavljanj). Na podlagi teh statističnih modelov se računajo verjetnosti. Iz tega statističnega modela ti ne boš mogel razbrat, da se beseda A prevede v H in da je potem v tem in tem zaporedju besed H na koncu stavka, čeprav je A na začetku.
Računalnik je sposoben samo matematičnih operacij, zato moraš ta pravila preslikat v nek statistični model. Delat z "if stavki" ni možno, ker je teh pravil neskončno. Da boš bolje razumel, kako poteka obdelava naravnega jezika v računalniku, si poglej kak course, ta je zelo dober, saj razloži bolj na matematičen način, zato poglobljeno znanje programiranja ni potrebno:
To je uvodni video (1. poglajve) maš pa 13. poglavij, vsako s po par videji. Na koncu (14. poglavje) je še chat z avtorjema.
Google translate za delovanje uporablja statistične jezikovne modele, ki temeljijo na ngramih in statističnih podatkih iz miljonov dokumentov. Eksaktno delovanje je seveda poslovna skrivnost, defenitivno pa je vse sama matematika, nobenih pravil ki bi jih jezikoslovec razumel. Računalniška logika ni sposobna razumevanja takih pravil, pozna 0 in 1 ter operacije med njimi. Človek je sposoben avtonomnega razmišljanja in naša nevronska mreža je specializirana za razpoznavo vzorcev - pravil. V računalniku je možno implementirat obnašanje nevronske mreže, ampak z neprimerljivo manjšim številom nevronov. Take nevronske mreže so super za prepoznavanje enostavnih vzorcev, npr. razpoznava prstnih odtisov ali obraza. Za prepoznavanje velikega števila vzorcev pa imajo premajhno učinkovitost.
Prihodnost zna biti v umetnih nevronskih mrežah - posebnih nevro računalnikih, ki bojo specializirani za posamezna opravila. Tu ne gre za klasičen računalnik s procesorjem, ampak za pravo nevronsko mrežo z umetnimi nevroni. Eno od predvidenih področij uporabe teh umetnih nevronskih mrež je tudi prevajanje. Branje na to temo: http://arxiv.org/pdf/1409.0473v7.pdf

smacker je 3. sep 2016 ob 15:46 izjavil:

Prihodnost zna biti v umetnih nevronskih mrežah - posebnih nevro računalnikih, ki bojo specializirani za posamezna opravila. Tu ne gre za klasičen računalnik s procesorjem, ampak za pravo nevronsko mrežo z umetnimi nevroni. Eno od predvidenih področij uporabe teh umetnih nevronskih mrež je tudi prevajanje. Branje na to temo: http://arxiv.org/pdf/1409.0473v7.pdf

Samo vprašanje je, ali bodo take nevronske mreže uspele priti do razmišljanja, da bi npr. lahko uspešno analizirale kontekst in razumele dogajanje, kar je kdaj potrebno pri prevodu. Dosegli bomo nek nivo, potem se pa najbrž ne bo dalo nikamor naprej.
V bistvu bi bilo bolj smiselno, da bi prevajali s takimi nevronskimi mrežami v pomen (oz. potencialne pomene), potem pa iz pomena drug v naravni jezik. Samo kako zapisati pomen in kako potem ustvariti dovolj veliko učno množico za to, je pa gromozanski problem.
In nevronske mreže imajo še en problem - lahko imajo večinoma odlične razultate, potem pa kakšno pomensko popolnoma zgrešen prevod. In če se razultat bere slovnično v redu in tudi zveni nekako smiselno, je zelo težko opaziti, da je pomen lahko spremenjen (primer takih problemov so npr. kakšne napačne negacije stavkov, za BLEU je zamenjava "je" z "ni" ravno tako velika napaka, kot če je v prevodu "zgornji" namesto "gornji" ali "zgornja".
Kar nas pripelje še do naslednje težave, da bi bilo BLEU nujno zamenjati z nečim boljšim, če bomo hoteli napredovati. Ker drugače bomo prišli do tega, da bodo strojni prevajalniki dosegali boljši BLEU od človeških prevajalcev, čeprav bodo strojni prevodi v resnici slabši. No, sem zdajle našel članek, da je nekdo to že preizkusil in res dobil tak rezultat: http://www.cracking-the-language-barrie...

kunigunda je 3. sep 2016 ob 11:02 izjavil:

Poparckanje besed 1:1 ne bo slo ker ima beseda lahko vec pomenov.

Recimo:

- tezko breme
- tezko bos naredil (kle npr ang. heavy ni ok)

Nisem rekel, da mora biti parčkanje 1:1.
Enostavnejši primer:
"Težka pot." vs "Hard road."
To je dober primer metafor.
Težka in hard imata tukaj metaforični pomen "naporna". Kar je težko je ponavadi tudi naporno nosit, ali kar je trdo je tudi naporno streti.
Takole bi moral prevajalec naredit ta prevod: po nekem zapletenem sistemu bi se moral odločiti, za kateri od vseh metaforičnih pomenov, ki jih ima beseda, se gre v tem primeru. potem bi v prevajanem jeziku našel besedo za pomen (če obstaja, veliko pomenov se da opisati samo z metaforo) ali pa še bolje najti besedo, ki vsebuje metaforo s tem pomenom in bi naredil pravilni prevod.

smacker je 3. sep 2016 ob 15:46 izjavil:

@kuall: dobro razmišljaš, ampak o računalniški obdelavi naravnega jezika žal nimaš pojma. Teh pravil je preveč, da bi jih lahko ročno zapisal ali da bi si jih računalnik shranil v obliki, ki bi bila človeku razumljiva.

Kako veš, koliko jih je? Po moje pa jih ni toliko ampak so samo zelo zapleteno prepletena. In enostavno še noben ni razgruntal te prepletenosti, ker je pač preveč težak problem, drugače bi že imeli prevajalca, ki bi delal perfektno z rule based sistemom z na roke napisanimi pravili. Pozabljaš tudi to, da jezik ne more delovati brez drugih osnov inteligence: prepoznavanje podobnosti in analogij, tudi zmožnost sklepanja je nujen pogoj, ker ljudje delamo sklepe non stop, ko poslušamo koga govorit. Zato pa so ženske užaljene, ko ji rečeš naprimer "Veliko si pojedla". Ona bo avtomatično naredila ta sklep: rekel mi je, da sem preveč debela in grda in da naj manj žrem. Hehe. Mimogrede, to je tudi dober psihološki trik, kako koga zelo užalit ali pa zelo pohvalit. Samo namigneš in pustiš, da on sam naredi sklep. To ga zadane bolj, kot bi mu stvar povedal direktno. To je zato, ker je stalno avtomatsko delanje sklepov tako globoko zapisano v naših genih, da je precej prepleteno s čustvi.

smacker je 3. sep 2016 ob 15:46 izjavil:

Računalnik je sposoben samo matematičnih operacij, zato moraš ta pravila preslikat v nek statistični model.

To mi ni smiselno. Računalnik je zmožen vsega česar je zmožen človek, če mu napišeš pravi program. Edina razlika je, da naš program laufa na nevronih, računalniški pa na bitih (oziroma čemerkoli...). Ja, tudi čustva bodo vzniknila, ko bo program z umetno inteligenco enkrat dovolj napreden. To mi je seveda skrivnost kako nastanejo čustva, ampak če ne verjameš v nadnaravno moraš v to verjet.

smacker je 3. sep 2016 ob 15:46 izjavil:

Delat z "if stavki" ni možno, ker je teh pravil neskončno.

Če bi bilo pravil neskočno, bi morali biti naši možgani neskočno veliki, da bi jih shranili.

smacker je 3. sep 2016 ob 15:46 izjavil:

Google translate za delovanje uporablja statistične jezikovne modele, ki temeljijo na ngramih in statističnih podatkih iz miljonov dokumentov. Eksaktno delovanje je seveda poslovna skrivnost, defenitivno pa je vse sama matematika, nobenih pravil ki bi jih jezikoslovec razumel

Sama matermatika? Pač nek program je. Ni se sam napisal ampak so ga ljudje. Da so ga ljudje lahko napisali so morali točno vedeti, kaj so delali. Če si kdaj programiral veš, da če ti ni 100% jasno, kaj delaš, bo na koncu ratal zmazek. Zato pa pravim, da so za prototip sigurno imeli rule based programčič, da so si razjasnili vse strukture, kako se bodo stvari shranjevale.

Bom pregledal tvoje linke. Kako to, da te ta tema tako zanima?

Debata, kako vedeti, kateri prevod je boljši, pa se mi ne zdi potrebna. Ljudje bodo to zlahka ugotovili.

Največja prednost nevronskih mrež je to, da delujejo po statistični metodi. Zato so tako uspešna v svetu, ker v svetu ni skoraj nič črno belo kot v enostavnih primerih ampak ima vse neko statistično verjetnost. Tudi v jeziku je to na veliko razširjeno.

kuall> Pač nek program je. Ni se sam napisal ampak so ga ljudje.

Nope. Sam se je napisal.

kuall> Debata, kako vedeti, kateri prevod je boljši, pa se mi ne zdi potrebna. Ljudje bodo to zlahka ugotovili.

Ljudje so predragi in prepočasni, da bi to bilo uporabno.

smacker je 4. sep 2016 ob 01:40 izjavil:

kuall je 3. sep 2016 ob 23:53 izjavil:

Kako veš, koliko jih je? Po moje pa jih ni toliko ampak so samo zelo zapleteno prepletena.

Ok, predstavljaj si program za 1 besedo.

 if(beseda=="težka"){
 if(beseda_za=="pot") return "hard";
 else if(beseda_za=="knjiga") return "heavy";
 ...
 }
 

Verjetno se strinjaš da je teh izjem preveč, da bi se jih dalo na roke opisat. Zato se tvorijo statistični modeli - kolikokrat se skupaj pojavita besedi "težka pot" in "težka knjiga" in beleži statistika, kako se ti dve besedi prevajata v učni množici. Za bolj podrobno razlago si poglej tiste videje, tam je bolj nazorno prikazano. Novo znanje ti utegne odpret kak nov pogled na tematiko, morda dobiš kako idejo kako izboljšat obstoječe modele.

No, pri vnosu pravil človek vseeno lahko malo posploši stvari. Tukaj bi si npr. pomagal s tem, da bi definiral, da ima prevod pridevnika težek v "heavy" prednost, kadar je za njim samostalnik, ki predstavlja nek predmet, če že delaš pomensko mrežo, je seveda smiselno, da pomenom določaš nadpomene (ali pa npr. uporabiš kaj že narejenega v ta namen, npr. WordNet).

Je pa še vedno problem, kako vnesti vsa ta pravila, ročno gre prepočasi.
Kot idejo vidim, da bi si človek pomagal s paralelnim korpusom in potem v obeh jezikih vzporedno določal potencialne pomene. Velika verjetnost namreč je, da v različnih jezikih nastopajo različne dvoumnosti (ali pa npr. uporabiš tri jezike hkrati). Potrebuješ pa dovolj obsežen slovar pomenov, vezanih na besede, da se lahko tega postopka lotiš. Potem pa lahko kombiniraš te avtomatsko najdene kombinacije pomenov z ročno vnesenimi.
Nekako v smeri, kot je opisano v članku na http://nl.ijs.si/is-ltc08/IS-LTC08-Proc... (strani 43-48), samo tukaj je to uporabljeno za gradnjo slovarja pomenov, namesto za iskanje verjetnosti kombinacij pomenov.

> Trenutno se zaradi omejene računske moči navadno omejuje kontekst na stavke oz zaporedja 5-6 besed. Z umetnimi nevronskimi mrežami bi se računska moč neizmerno povečala in bi kontekst morda lahko razširili na cele odstavke ali celo na besedila.

In to je eden od razlogov, zakaj imajo strojni prevajalniki težave s slovenščino, kjer zelo radi tlačimo kup prilastkovih odvisnikov (ki ...) v povedi in potem pišemo dolge klobase, v katerih se računalniki hitro izgubijo:
Tisti, ki tistega, ki je desko, ki pot, ki proti Zgornjim Ruknjam vodi, kaže, vzel, prijavi, bo dobil lepo nagrado.
GT: Those who are the one who is the board that the path that leads to the Upper Ruknjam shows took login, will win a prize.
Bing: The one that the one that is the Board that the path towards the upper Ruknjam water shows, logging in, will win a nice prize.
Presis: That, that that, that is eating a board, that way, that against Upper Ruknjam leads, he is pointing, took, applications, he will receive beautiful award.

Je pa ta primer zanimiv kot prikaz razlike med statističnim prevajanjem in prevajanjem v pravili. Če izmišljene "Zgornje Ruknje" zamenjam z resničnimi "Zgornjimi Bitnjami", dobim takle rezultat:
Tisti, ki tistega, ki je desko, ki pot, ki proti Zgornjim Bitnjam vodi, kaže, vzel, prijavi, bo dobil lepo nagrado.
GT: Those who are the one who is the board that the path that leads to the Upper Bit shows took login, will win a prize.
Bing: The one that the one that is the Board that the path towards the upper Bitnjam water shows, logging in, will win a nice prize.
Presis: That, that denounces that, that took a board, that is showing way, that leads towards Zgornje Bitnje, will receive beautiful award.

Rezultata Google Translata in Binga se skoraj ne spremenita, Presis pa čisto spremeni prevod, ker nima več neznane besede, ki je prej motila stavčno analizo.

> Težje je pri prevajanju govora. Tam je ogromno konteksta, ki pride skozi druga čutila, ne samo skozi ušesa, obenem pa še speech-to-text preslikava povzroči delno napako. Da bi imeli nevronsko mrežo, ki bi bila zmožna tipat, gledat, vohat, okušat, poslušat in to vse povezovat, je pomojem še znanstvena fantastika.

Je pa po drugi strani res, da je vse to še težje zajeti s pravili, statistični prevajalniki so običajno precej manj občutljivi na šum na vhodu.
Lahko pa pri pravilih dodaš npr. še tipične tipkarske in slovnične napake (oz. pogovorni jezik), kar je pri statističnem prevajanju težje pokriti, ker imaš paralelne korpuse po navadi preveč slovnično pravilne, da bi dobro pokril pogovorni jezik:

Nevronske mreže same po sebi nebojo zmožne samostojnega razmišljanja, gre zgolj za učinkovito strojno implementacijo nevronskih mrež, kot jih poznamo v računalništvu.
Presis: Neural networks won't be capable of independent thinking alone round themselves, it is the efficient machine implementation of neural networks, as we know them in computing.
GT: Neural networks themselves nebojo capable of independent thinking, this is only effective hardware implementation of neural networks as we know them in the computer.
Bing: Neural networks inherently they won't able to independent thinking, it's only for the hardware implementation of neural networks effectively, as we know them in computer science.

GT ima težave z "nebojo", Presis s frazo "same po sebi" in nekje je izgubil členek "zgolj" (torej "only"), Bing je pa kar lepo sestavil stvari, samo "they" je preveč dodal v prevod.

Pri prevodih niso samo pravila. Je tudi stvar konteksta. Stavek se drugace prevede glede na prejsne stavke, kakor pa ce je samostojni.
Mogoce si osredotocen zgolj na jezike, ki jih poznas. Armenski, arabski, hindi, kitajski ipd do dosti drugacni od anglescine npr. kjer je
neka pravila lazje napisati.

No zaradi tega "ostalega" google in ostali translatorji ne dajejo ven taksnih rezultatov, ki bi jih mi hoteli.
Toliko stvari, v cemer se razlikujejo med seboj, ti bo v programerskem svetu nardilo toliko tezav, da ti skupne stvari niti ne bodo
vec toliko pomembne. Zato se jih je treba lotevati na nacine, ki so bile opisane ze v prejsnih komentarjih. Z IF stavki kle ne bos dalec prisel
(niti hitro). Ni to samo vrstni red, spoli, sklanjatve ipd. Ko si ze omenil turscino npr, ta ne potrebuje subjekta v stavkih, anglescina npr.
ga pa in moras pisati dodatne besede. Potem imas jezike juznoameriskih indijancev, ki ti podrejo komplet strukturo znanih jezikov.
Potem imas dosti indo jezikov, ki besednih zvez ne rabijo vedno locevati med seboj in jih dajo v eno besedo, itd.
In tudi vsak jezik ima dolocene besede, ki lahko pomenijo stavek oz. konkreten izraz in obratno. Turscina, ki si jo omenil kle ni izjema.

Zato je bil plod 40-letnega razvoja systran-a zavrzen, ker je temeljil na zakonih in pravilih in ni bil dober.
Google, ki je dosti boljsi od njega, je zamenjal logiko s statisticnim modelom, ki se obnese mnogo bolje.

@kuall Jao, še en filozof ...

Primer ene take filozofije: vsak stavek ni nič drugega kot beseda z opisi. Z drugimi besedami, v vsakem stavku je ena beseda glavna, druge so samo njen opis ali opis njenih opisov. To je en tak zakon, ki drži v vseh jezikih. O takih pravilih jaz govorim.

Kako pa boš ta tvoja pravila zapisal v računalniku razumljivi obliki?

Čeprav se osredotočata na probleme iz računalniškega vida, ti priporočam, da si pogledaš prvih nekaj minut enega izmed naslednjih predavanj:
Murray Roweis

Videa sta sicer že relativno stara - spadata v obdobje pred renesanso nevronskih mrež. Danes je vsa stvar še izrazito bolj jasna, pa se začuda še vedno pojavljajo nejeverni Tomaži, ki nočejo pogledati izven svojega vrtička ...

kuall je 6. sep 2016 ob 01:29 izjavil:

Glavna beseda lahko obstaja brez otroške, otroška ne more brez glavne.
Primer: Janez je jedel solato.
Katera je tukaj glavna beseda in katera otroška? Čist enostavno, če lahko besedo odstraniš in ima stavek še vedno smisel potem je otroška, če nima smisla je glavna. Torej:
Janez je jedel. - smiselno
Janez je solato. - nesmiselno
Janez. - smiselno
je - ni smiselno, ker ima ta besedica nujna 2 argumenta je (a,b)
in tako vidiš, da je soodvisna struktura tega stavka taka: je (Janez, jedel (solato))

Ni tako preprosto, "Janez je solato" je čisto pravilen stavek, ker je beseda "je" dvoumna (in je tudi oblika glagola jesti in ne samo biti (pa še ena oblika osebnega zaimka). Pa tudi s pomenom, da je "je" glagol "biti", ta stavek ni nemogoč, problem pri analizi so izpusti:
Miha je jedel meso, Janez je solato, Cene pa krompir.
lahko bi pa bilo tudi:
Miha je jedel meso, Janez solato, Cene pa krompir.
In ti moraš zdaj iz tega potegniti, da je Cene jedel krompir.
In ti izpusti so običajno zelo pomensko odvisni:
Tonček je pel in jedel jabolka.
Tonček je lupil in jedel jabolka.
Tonček je pel in poslušal pesmi.
Program mora vedeti, da jabolk ni mogoče peti, tipično jih pa lahko lupiš. Lahko pa poješ pesmi.

In tudi sicer je zaradi dvoumnosti besed velikokrat težko ugotoviti že, kaj je sploh glagol v stavku. Še meje povedi je kdaj težko določiti:
Videla jo je ga. Metka tudi, pa se ni sekirala.
Videl sem ga. Metka tudi, pa se ni sekirala.

@irbis: Da bi stroji prevajali knjige namesto prevajalcev pomojem ne bo šlo. Lahko pa dosežemo tak nivo, da imamo tolmačenje v živo, ki ni 100% slovnično pravilno, ampak še vedno dovolj visoke kvalitete, da lahko vsi udeleženci sledijo debati. Recimo skype že menda uvaja prevajanje. Tud google translate številni uporabljajo za dopisovanje preko maila v tujem jeziku. Med svetovnimi jeziki s podobnimi strukturami stavkov (angl, nem, špa, ita, fra) prevaja zelo solidno.
Na področjih, kjer napake niso dopustne (recimo debata zdravnikov iz različnih držav pred operacijo, komunikacija pilotov,...) bomo pomoje še dolgo potrebovali prevajalce oz. poznavanje skupnega jezika (angleščina).

@kuall: Samo prevajanje s pomočjo nevronskih mrež se kombinira še z jezikovnimi modeli (pojavnost besednih ngramov v jeziku, glej video lekcije). Z njihovo pomočjo se popravi smiselnost prevedenih stavkov in ti modeli korigirajo "pravila" odvisnosti med besedami. Tam se npr. beseda "in" nikoli ne pojavi na koncu stavka, na začetku pa morda zelo redko (kak pogovrno jezik v stilu "In sedaj si bomo..."). Te verjetnosti se pri prevodu upoštevajo in prevajalnik bo bolj verjetno izbral besedno zvezo, ki "in" postavi v sredino stavka.
Da bi preverjal odvisnost med besedami pred prevajanjem, pomoje nima nekega pretiranega smisla, saj se te verjetnosti ne prenašajo nujno med jeziki, pomojem ne bi veliko pridobil.
Ti praviš da bi morali ročno pisat pravila, jaz pravim da so ta pravila v veliki večini (če ne v celoti) že zajeta v jezikovnih modelih, zato ni potrebe po ročnem vnosu pravil. Poleg tega je jezikovni model struktura, ki se lahko avtomatsko posodablja in spreminja skupaj z razvojem jezika, medtem ko bi se seznam ročno pisanih pravil moral posodabljat ročno, vsakič ko mladina izumi nekaj novega.
Poglej lekcije resno, da si razjasniš kako je zastavljen jezikovni model. Gre za metodo, kako opišeš nek jezik na univerzalen način - s tem je možno opisati vse jezike. Nato lahko računaš čuda s tem modelom, med drugim tudi verjetnost, da se nek stavek pojavi v določenem jeziku. Modeli so zasnovani tako, da se naučijo nad učno množico in se hkrati znajo prilagodit, ko dobijo na vhodu neznane besedne zveze.

Eno je specializacija za področje, drugo so pa kritični sistemi. Ko se zdravniki posvetujejo pred operacijo mora bit komunikacija hitra in učinkovita, ni časa za iskanje morebitnih napak v prevodu. Če bi anasteziolog dobil napačno navodilo o dozi uspavala, bi to lahko bilo smrtno. Kaj se kasneje na list napiše, je sekundarnega pomena saj ne vpliva neposredno na pacientovo življenje. Seveda se z uporabo ozkega področja in s tem omejenega izrazoslovja da izboljšat zanesljivost prevodov, sploh če se uporabljajo izrazi v skupnem jeziku (latinščina).
Vremenske napovedi se lahko že strojno generirajo iz golih podatkov, zato s prevodi res ni težav.

V bistvu filozofiranje okoli znanih stvari :)

Moras vedeti, da razumevanje jezika temelji tudi na cloveski razgledanosti in izkusnjah. Google tega nima,
zato si pomaga s statistiko, kar je tudi najboljsa(edina) resitev. Prav tako, ce se crkovno zmotis v besedi, zna "uganiti",
za katero besedo gre s pomocjo levenstein algoritma. Tako kot ti programersko razmisljas (delanje majhnih kosckov in sestavljanje v vecje)
velja za enostavne zadeve in ne tako kompleksne kot prevod.
In ne enaci govorni jezik s pisanjem. Pri govoru so vpletena custva, tonski poudarki, mimika obraza ipd.
Pri kitajscini so npr. podobne besede samo tebi, njim ne. Isto je z arabscino, kjer neznalec ne bo razlocil, kdaj je
arabec rekel "srce" in kdaj "pes". Gre za nacin izgovorjave posamezne crke. Slovanski jeziki imajo preprosto izgovorjavo crk,
vzhodni jeziki imajo nam-podobne crke, kateri se izgovarjajo z razlicnim delom grla.

@kuall
Popravljanje ene zatipkane črke ni problem, stvar se zakomplicira le, če iz zatipka nastana nova pravilna beseda z drugim pomenom.
Presis npr. pri analizi slovenščine popravlja stvari, ki jih sicer popravlja slovnični pregledovalnik Besana, tako da npr. mirno prevede "Včeri sm šu domol." v "I went home yesterday.", medtem ko se Google Translate s tem čisto zadavi: "Včeri sm su home.", ker imam v učnem vzorcu premalo pogovorne slovenščine.
O tem, katere besede so možne v nekem jeziku, si je zanimivo prebrati v knjigi Jazikovni nagon Steven Pinkerja (poglavje Glasovi tišine).

@kunigunda
Levenstein ni dovolj, to ti da samo potencialne kandidate, ki jih moraš potem loviti s kontekstom (in tudi sicer je ta način dober le za naključne zatipke, precejšen del je bolj sistematičen, kjer moraš upoštevati podobnost glasov).
Pri fonemih v drugih jezikih je pa problem to, da ti glasovi, ki se jih v otroštvu ne naučiš razlikovati, potem zvenijo enako, jih sploh ne ločiš. Zato npr. Slovenci običajno težko ločimo med č in ć v hrvaščini (in s tem imajo pravzaprav težave tudi Hrvatje, ki so rojeni v narečjih, ki ne ločujejo med č in ć, ti se morajo tudi v šoli priučiti).

@kuall: Šele ko ti je kristalno jasno kaj bi rad sprogramiral in kakšen bo rezultat je smiselno začet programirat. Saj tako je povsod pri programiranju.
Težava pri tem je, da boš na velik del težav naletel šele, ko boš res sprogramiral stvar, prej se ti stvari zdijo lahko čisto preproste, potem pa naletiš na primere, ki ti pokvarijo razmišljanje, stvari so preveč kompleksne, da bi lahko predvidel vse. In še težko si privoščiš deset let tuhtanja, ne da bi imel kaj pokazati.

kuall je 3. sep 2016 ob 02:14 izjavil:

Ti si zdaj razložil kako nevronske mreže delujejo. Ampak mi zna kdo razložit, kako google translate deluje? Malo bolj tehnično.

Z nevronskimi mrežami. Računalnik se načeloma lahko sam uči vendar zmeraj obstaja človeški faktor, ki mu mora povedati če je naredil nekaj prav ali narobe. Tako kot otroku starš pove kaj je prav in narobe.

kuall je 6. sep 2016 ob 01:29 izjavil:

Randomness je 6. sep 2016 ob 00:19 izjavil:

Kako pa boš ta tvoja pravila zapisal v računalniku razumljivi obliki?

Brez problema se jih vkodira v "gene" programa v obliki programerske kode. Čimveč teh pravil poznaš bolje veš, kako napisat program.

Ti nikoli ne boš mogel napisati toliko pravil in izjem kot jih lahko Google najde z matematiko. Če samo pomisliš kakšne količine podatkov ima Google na voljo pa so prevodi včasih še vedno napačni.

Tudi če ti teoretično uspe napisati milijon izjem nastopi nov problem. Ti moraš za vsak stavek, frazo iti čez nekaj deset, sto, tisoč if stavkov. Medtem ko Google ta stavek pretvori v številke in lahko v eni sami operaciji naredi prevod.

kunigunda je 10. sep 2016 ob 15:23 izjavil:

@Metalic, GT ne uporablja pravil pri jezikih, ampak se zanasa ze na v preteklosti prevedene translacije in statistiko le-teh.
Ni znano, kateri vsi ze prevedeni dokumenti se za model uporabljajo, kar je znano, je da biblijo, ki je prevedena skoraj v vse jezike sveta,
UN in EU dokumentacijo, dolocene vrste romanov (fantasika, misteriji). Verjetno se kaj iz rumenih tiskov (saj se donald trump ne ponudi vec kot
donald duck :P)
V kolikor bi za vsako posebnost posameznega jezika sli pisat gramaticne pogoje, ne bi nikoli dokoncali (to so delali pred STM pa so videli da no-go)

Preberi še enkrat.

EDIT: Ok, mogoče malo nejasno napisano. Google v besedilih išče vzorce in na podlagi tega dela prevode. Ne v obliki besed ampak v obliki števil in izračunov.