Programiranje - prepoznavanje tonov

Ker ne vem, kam bi to vprašanje sploh uvrstil, ga dam kar v to temo. Če se kdo spozna na glasbo in programiranje, mi lahko pomaga rešiti uganko - prepoznavanje glasbenih tonov. Vse skupaj sem si zamislil tako: Na računalnik bi priklopil mikrofon in zagnal program (tega bi rad izdelal) za prepoznavo glasbenih intervalov in akordov, ki bi jih zaigral na klavir. Če bi na primer zaigral tone C-E, bi program ta interval prepoznal in izpisal za kateri interval gre. Če bi na primer zaigral tone C-E-G, bi program ta akord prepoznal izpisal za kateri akord gre.
Da se sprogramirati razne guitar tunerje, ki znajo določiti frekvenco tona, vendar to ne pride v poštev, ker program pričakuje le EN SAM ton (ena tipka na klavirju). Edina možnost, ki mi pade na pamet je, da se izdela baza intervalov in akordov v obliki mp3/wav posnetkov, program pa bi potem moral ugotoviti s katerim se najbolj ujema zvok, ki je zajet preko mikrofona... kako bi se tega lotil, nimam ideje. Dejansko je princip podoben kot pri prepoznavi govora (speech recognition), le da imam namesto govora opravka z glasbo. Ne vem, če se kaj takega sploh da sprogramirati (ker se za tem skriva veliko glasbenega posluha), je pa vsaka ideja dobrodošla.

Imaš dejansko namen za vnos uporabljati klaviaturo? Če to ni bil samo primer, si lahko omisliš kako ultra poceni MIDI klaviaturo in bo tvoj program naenkrat zelo trivialen.

Že vse obstaja - recimo tisti zgoraj omenjen projekt je dober začetek, razen če hočeš v namen lastne možganske telovadbe narest. Imaš tudi mobilne appe, bolje kot za PC računalo, ker je mic že vgrajen.

Čisti toni za določeno uglasitev imajo znane frekvence in potem intervale lahko dobiš matematično. Upoštevat moraš toleranco netočne uglasitve, klavir in kitara zaradi dizajna recimo ne moreta bit idealno uglašena. Violina je lahko, ker primeš kjerkoli.

Najprej pretvori signal (že po A/D) v frekvenčni prostor (Fourierjeva transformacija) potem pa gledaš kakšne frevence so notri in njih razmerja.
Pa mal boš moral naštudirat specifiko inštrumentov, ker se razlikujejo glede na pojavnost in jakost posameznih harmonikov.

MrStein je 8. jul 2019 ob 00:34 izjavil:

No tako preprosto spet ni. To so delujoči izdelek naredili komaj pred nekaj leti (OK, 10 leti, glej: Melodyne).

Saj, zdaj jih pa preveč, da bi odkrival toplo vodo. Naredi en search v mobile app store ("chord recognition"), pa jih najdeš kar nekaj.

Grizzly , take programe ponavadi delajo ekipe.. Ti maš pa res visoke cilje da boš sam to vse naredil. In vse to kar omenjaš, je že nekdo drugi naredil - Ali ti je samo izziv ?

Težko boš ločil med akordi in posameznimi notami... To je podobno koda bi hotel iz komada povleč ven samo bobne, brez kitare, a audio file pa je oboje skupaj, kajneda? - Želim ti veliko uspeha pri projektu.

audacity je open source, tako da lahko komot "izrežeš" del kode, ki te zanima.

Grizzly je 8. jul 2019 ob 10:32 izjavil:

Dodaten izziv je, kako ločiti med toni, intervali in akordi???

Akordi so hkratni odigrani toni. Nekje boš postavil mejo - kako hitro je lahko odigrano zaporedje tonov, da je še akord ali pa je gremo samo za arpegio. In frekvenčno okno je časovno pomično seveda. Ne gledaš v frekvenčni prostor za čas cele skladbe ampak samo za izbrano kratko okno (recimo 10ms). Če boš recimo odčital tone v teh 10ms boš rekel da je akord, če padejo izven okna, so intervali. Mejo postaviš glede na to kaj je fizično mogoče za človeka. Recimo da tehnično vrhunski kitarist lahko še odigra šestnajstinke pri 240bpm v 4/4 tempu, to je 16 not na sekundo, to je vsakih 62.6ms ena.

Grizzly je 8. jul 2019 ob 10:32 izjavil:

Predvidevam, da če uporabim chord recognition in zaigram C-ton, mi bo algoritem vrnil C-akord... tega recimo ne bi rad, ker me potem čakajo ročni popravki.

Zakaj bi ti vrnil C-Akord? C dur recimo, vsebuje še tona E in G, ki imata drugačno osnovo in harmonike kot zgolj ton C, razliko bi moral videt iz frekvenčnega signala.