Prepoznavanje zvoka in predvajanje MP3 v C++ ali Delphiju

directx ma en modul za delanje s zvokom, pomojem bi najdalje prisel ce si dldas directx 8 sdk pa si pogledas malo kak deluje direct sound.

Thnx za pomoč pri predvajanju MP3.
Ampak še vseen me pa zanima prepoznavanje zvoka v C++ ali Delphi-ju.

WAV2TEXT

To je pa zelo težko narest. Zelo. Zakaj?

Ko posnameš wav file z zvokom besede "SNEGULJČICA", je ta posnetek lahko sila različen po jakosti, barvi glasu, zategnjenosti posameznih zlogov ... tako, da si 1.WAV in 2.WAV sploh nista podobna, čeprav je ista beseda notri. Ena sekunda wav zvoka pa zavzema vsaj kakih 40 KB. Zato transformacije in primerjave nisto trivialne s stališča CPU in pomnilnika.

Narediti se pa da - nedvomno!

OK! Najprej thnx vsem, ki ste do sedaj pomagali.

Dr. Zgemba!
Najbolje bi bilo, če bi porgram spoznal vse možne glasove, ampak za začetek bo dovolj, da le mojega. Se bom že pol pomatru za kej več.

Wintermute!
A je tiste 300K cel SDK, al se tko k IE5 downloada pol. To prašam zato, k piše da pokur 800 MB.

Lp

Wintermute
A Office XP uporablja Lernout & Hauspie engine? Malo sem zdaj iz teh vod in ne sledim več točno razvoju. Nekaj so se menda dogovarjali že pred leti.

Divac
Verjetno bo res enostavneje, da naštudiraš ta API, ker če boš šel peš pisat od nule gor, potem je to lahko življenski projekt.
Če pa želiš samo tako za hec razpoznavat par besed (manj kot 10), potem prideš najenostavneje skozi z enostavnim predporocesorjem (bandpass filter, enhancer, filter banka) in pa recimo kohonenovo nevronsko mrežo. Source za to vse najdeš v izobilju po netu, samo skupaj zaštukaš in čakaš da se mreža nauči.

dr. Zgemba

Nimam pojma, ampak mislim da ne. A je to tisti engine, ki ga uporablja Dragon Systems? Po moje bo MS integriral engine, ki je v SAPI5 SDK-ju, ampak malo "izboljsano" verzijo.

divac

Tule dobis vso in edino dokumentacijo (compiled HTML). Tutorial je zelo podrobno dokumentiran, ostali demoti pa bojl slabo.

Ce bi hotel zaceti iz nic, bi pa moral prej prebrati kaksno knjigo na to temo... Ob predpostavki da poznas osnove obdelave signalov in razpoznavanja vzorcev. Ja, diskretna fourierova transformacija je ze pravi zacetek...

Glede dl-janja ... ne mi rect, da ne poznas nikogar v tvoji blizini z hitro povezavo, ce je ze sam nimas.

Divac
Nocem te strašit ali kaj takega, ampak lotil si se zelo zahtevnega podrocja.
Najprej DEFINITVNO preštudiraj kako knjigo o DSP, predvsem poglavja o DFT in FFT.
Ko ti bo približno jasno za kaj gre (ni popolnoma nujno da obvladaš vso matematiko, ki stoji za tem) si oglej digitalne filtre, ker to boš zelo rabil.
Recimo da zdaj veš, kaj storiti z zvokom, ga pretvorit v obliko lažjo za obdelavo in izvajat osnovne filtre.
Zdaj boš že precej poln znanja in tudi nekaj ti bo že delalo (ce ne drugega lahko zdaj s tem mirno napišeš vsaj kak cool plugin za Winamp).
Potem si oglej še kaj o prepoznavanju vzorcev.
Sam sem najvec delal z nevronskimi mrežami in jih najboljše poznam, so pa še druge poti (Markovski avtomati, genetski algoritmi, hibridne rešitve).
Od tu dalje pa pridejo najvecje težave razpoznavanja. Zdaj se poglobi v probleme segmentacije, cueinga, voiced/unvoiced detekcije...
Ce boš vse to obvladal boš lahko naredil fonemski razpoznavalnik, ki ti bo delal z vsaj 50% pravilnostjo.
Od tu dalje pa imaš spet malo morje novih izzivov, od tega kako štukat prepoznane foneme v zloge, zloge v besede in besede v stavke. To so že lingvisticni problemi...

Še vedno pa velja moj quick & dirty recept:
300-3k bandpass filter -> filterbanka (vsaj 10 bandov) -> kohonenova NM.
To bi po mojih izkušnjah moralo zadostovati za nezvezno prepoznavanje malega slovarja in enega govorca.
Za kaj vec od tega (zvezni govor, vecji slovar, neodvisno od govorca) pa se spet zelo zakomplicira.

Ce se prav spomnim je Ljubljanski FRI izdal pred kratkim eno knjigo v slovenšcini o tem. Drugace slovenske literature ni kaj dosti, razen za DSP.
Od tuje je še vedno referenca Bourlard & Morgan: Connectionist speech recognition, pa z googlom poišci še npr: Tony Robinson. Bourlard, Morgan, J.P. Martens (na pamet, bi moral malo pogrepat po disku po kakih starih clankih, ce jih še imam kje).

Kaj mislim:

Da se loti kar po svoje - in imaš 1% šans, da ti uspe!

Če boš pa preveč prebiral literaturo - kot svetuje naš dobri doktor - potem boš pa v najboljšem primeru naredil nekaj, kar itak že je.

Niti ne. Prav je sicer, da bereš knjige - vendar nekoliko širše tematike.

Knjige ravno o programiranju prepoznavanja govora - pa ti namečejo preveč sugestij.

Če imaš idejo sam - je bolje, da uresničiš tisto, neobremenjeno - pa četudi je samo 1% verjetno, da uspeš narediti bolje, kot je bilo narejeno doslej.

Išče se svežih zamisli, ker tiste iz tovrstni knjig - niso dale enega pametnega programa v ta namen. Vsaj jest zanj ne vem. A so ga?



Sej veš kako je s knjižnicami dr. Zgemba? Kot apoteke so - mnogo strupa in malo zdravil.

Heh Dr. Z ...



C++ kompajlerjev in related zadev kolikor češ!



Zdej mi pa povej za en dober Wav2txt ...



NI GA!

Ok, fantje ne se kregat. Thomas ima prav, pa tudi dr. Zgemba ima prav.
Strinjam se s Thomasom, da knjige le usmerjajo človeka v nekaj kar je že bilo narejeno. Zato pa so vsi SR programi odvisni od jezika, ki ga govoriš. Z dr. Zgembo pa se strinjam v tem, da znanje je v knjigah.Vendar le v določeni količini.

OK, uživite.

Thomas
Sistemi obstajajo in delujejo (Naturaly Speaking, MediTalk, ...) ogromno pa jih je zapakiranih v telefonske sisteme (Phillips, Nortel, Belgacom) ali podobne zaprte aplikacije (rezervacija letalskih kart).

Če pa pričakuješ nekaj, kar bo gladko prepisovalo poljubno besedilo, ki ga boš v kar nekem jeziku in s čudnim naglasom narekoval v mikrofon za 100 SIT in vse skupaj poganjal na domačem PC-ju, ja, tega pa res ni.

In tudi povem ti zakaj ne. Ker je to BLAZNO zahtevna naloga. Dosti bolj zahtevna kot si lahko zamisliš in šele potem ko razumeš vsaj osnove (za kar je potrebno vsaj malo predelat literaturo), šele potem ti res rata jasno kako zahtevna zadeva je to.

In vsa moja poanta glede knjig je v tem, da preden lahko začneš na tem področju razvijati karkoli svojega moraš imeti dovolj predznanja. Jaz sem prepoznavanju namenil približno 3 leta in govorim ti iz lastnih izkušenj. Prvih 6 mesecev sem samo debelo gledal in bral knjigo za knjigo in članek za člankom preden sem sploh lahko začel razmišljati o kakem svojem pristopu.

Divac
Ne se ustrašit! Če imaš res dobro idejo, potem je naše govorenje tako brezveze in boš idejo itak uresničil brez naše pomoči.
Aja, ko smo že pri tem. Razpoznavalnik bo VEDNO odvisen od jezika govorca. To so pač zakonitosti naravnega jezika. Do fonemskega nivoja (do sem je neodvisno od jezika) ni dovolj informacij za enolično razpoznavanje.

Heh, nihilist/cinik Thomas at his best.

> Tudi OCR je bil vcasih "BLAZNO zahtevna naloga".

1. Primerjava OCR kot ga razumes ti razpoznavanja govora kot ga razumes ti je bezpredmetna. Namrec ... noben OCR danes nima takih lastnosti, kot jih ti zahtevas od sistema za razpoznavaje govora. Tak OCR sistem bi po tvoji (primerjalni)logiki moral razpoznavati rokopis vsakega cloveka ne glede na jezik. Taksen OCR je se vedno blazno zahtevna naloga.


> Zdej mi pa povej za en dober Wav2txt ...

2. Kaj je zate dober sistem za razpoznavanje govora? Zame je dober sistem za razpoznavanje govora tisti, ki usteza svojemu namenu (da resi nek v resnicnem svetu zastavljen problem). Za mnogo takih problemov ze obstajajo ustrezne (ergo "dobre") resitve.


> ... kje pa so? Povej mi whereaboutse o takih programih! Ni jih. Še

3. Ni ti treba dokazovati tega, da univerzalnega razpoznavalnika (tekoce razpoznavanje govora ne glede na jezik in govorca) ni in da verjetno nobena dosedaj uveljavljena metoda razpoznavanja govora ne bo privedla do njega. To veva jaz in dr Z. dovolj dobro. Kudos komurkoli, ki ga bo razvil. Ampak pri tem pac ne mores mimo narave (matematika, fiziologija cloveskega govornega trakta), tako da tudi ce zacnes iz nic, kaksna literatura ne more skoditi.

4. Ce po tvoje "dober" razpoznavalnik govora ne obstaja to se ne pomeni da so danasnje tehnologije SR neuporabne. Ce bi sledil tvojim argumentom, bi lahko rekel da je Internet neuporaben, ker vse informacije na njem niso dostopne vsem ljudem ne glede na jezik in kulturo (in socialni status na primer). Ali pa telefon, ali pa... na koncu verjetno ostane samo se ugotovitev, da je edini uporaben clovekov izum kolo. Pa kljub temu uporabljas telefon in internet, ne glede na to da nista popolna. Ravno tako se dandanes uporablja SR. Res pa je da se ni zelo razsirjen, ampak bo (IMO) kmalu (in to celo z danasnjo tehnologijo).

Eeeeh...jaz grem naprej razvijat mojo prvo (morda celo uporabno, ce bo bog (in Thomas) dal) "speech-enabled" aplikacijo, vi pa se kar razpravljajte.

Jaz osebno mislim takole. SR ni uporaben dokler ni splošen, ker drugače je za vsak jezik treba pisat svojo aplikacijo.Splošen pa ni, ker zabiti amerikančki še niso dojel, da niso edini narod na svetu.

Kar se tiče literature je tako, da ti večina hoče ucepat v glavo idejo avtorja. Vendar pa je treba premisliti nekoliko drugače. Lep primer so diski. Dolgo časa so se uporabljale iste glave za branje in pisanje, dokler se niso v (sedaj že) propadli firmi odločili, da bodo diplomantu MIT-a dali za nalogo narediti hitrejšo bralno glavo. Ta študent je razvil MR glavo iz katere se je kasneje razvila GMR in CMR glava, ki ju uporabljajo najhitrejši diski. Nauk: Ni vse v knjigah. Važna je ideja.

Je pa res, da je osnovne stvari vseeno treba poznati. Vendar pa to niso 1000 strani debeli, nerazumljivi špehi, ampak osnove višje matematike, elektrotehnike in algoritmov.



Vendar pa za navadnega smrtnika je tako ali tako vedno dovolj, da uporabi kakšno knjižnico, kar bom za test najbrž naredil tudi jaz. Poleti pa se bom posvetil in poizkušal izboljšati zadevo.