zaznava pozicije govora v zvočni datoteki

Čisto laično bi odprl file z Audacity, našel daljši odsek, kjer je samo promet in ga odštel celotnemu posnetku. Če se ne motim, to Audacity zna. Potem bi ti recimo ostali samo še nenavadni dogodki, kot so govor, hupanje, ki bi štrleli iz posnetka. Recimo.
V kakšnem formatu imaš posneto?

File se kreira kot mp3, konvert v wav mi ni problem. Problem je, da je zvok prometa precej različen, pač različni tovornjaki, avto pospešuje ipd., nekaj sem se že igral z Audacitiy in Reaperjem, pa mi rezultati niso dovolj dobri.

Speech to text je problem, ker večinoma je podprta le angleščina in nekako najde neke random angleške besede tudi v hrupu, bo potrebno poskusit še kaj druga.

Sem mislil, da imamo že kak deep learning VST, ki bi zadevo znal boljše analizirat, iščem naprej.

Close, but no cigar :) Gre za varnostni sistem, ki ima tudi kamere z mikrofoni in opcijo alarma ob povišani glasnosti. Problem je, da je lokacija glasna in se je alarm konstantno prožil, posledično je zdaj off. Izziv je filtracija vseh zvokov, ki niso govor in proženje alarma le v teh primerih.

A trenutno sem še v fazi detektirat govor na predposnetem posnetku, detekcija (skoraj) v živo pa bo next step (obesit se na stream iz kamere), če kdaj projektič pride tako daleč.

To bi kaksnega fourierja pognal, da ti spice pokaze, potem pa frekvencni razpon za govor isces? Napake gotovo bojo, lahko pa semplas veckrat in potem bos scasoma dobival bolj in bolj pravilne podatke?

Pozabil sem točno kdo ima to: ampak razvili so sistem, ki iz poljubne pesmi izlušči karkoli, recimo samo kitaro, samo vokal, ipd... Vem, da je ML v ozadju. Mislim, da se da brezplačno ene tri datoteke preizkusit. Mogoče bi bilo za preverit.

Recurrent neural networks z Long short term metodo. Jaz sem uporabil tistega iz Tensorflowa.

Ne, mikrofon je fiksen. No, dalo se bi v teoriji, ampak ne bi šel v to. Neka huda kvaliteta mikrofona gotovo ni, ker gre za par 100EUR kamere, kvaliteten mic je sam vreden več kot to.

S filtri sem se že igral, morda premalo. Se da precej zmanjšat glasnost prometa, a mi precej popači tudi govor, četudi sem v freq. range govora malo posegal.

Hvala za ideje, mogoče mi pa kaj uspe z NN. Ključno je ugotovit kje se nahaja govor.

>> Pozabil sem točno kdo ima to: ampak razvili so sistem, ki iz poljubne pesmi izlušči karkoli, recimo samo kitaro, samo vokal, ipd... Vem, da je ML v ozadju. Mislim, da se da brezplačno ene tri datoteke preizkusit. Mogoče bi bilo za preverit.

A to? https://songtostems.com/

Impresivno, a mora bit nekaj kar lahko lokalno uporabljam.

Trenutno nimam časa za kaj več, zato na kratko: pogooglaj DCase Challenge iz različnih let. Tam so se šli takšne zadeve, ponavadi je na voljo baseline sistem, ki bi lahko bil za tebe dovolj. Pogosto pa so potem objavljena tudi izboljšanja.

Aja, pa razne filtre pozabi, to moraš rešiti na nivoju časovne segmentacije s kakšno UI ali pa ML metodo, ki je tudi lahko čisto dovolj dobra.