Strojni Vid - detekcija zaporedja barv

Pozdravljeni,

delam na projektu, pri katerem zajamem sliko konektorja z 10-timi barvnimi vodniki.Slika na naslednji povezavi:

veril pravilno zaporedje vodnikov - torej pravilno zaporedje barv.

Reference s podobnega področja, ki jim želim slediti :

Zanima me ali ima kdorkoli kakršnekoli predloge za sestavo algoritma detekcije pravilne sekvence barv? Vsakršni predlogi, ideje, viri so dobrodošli!

Poizkusi z OpenCV

http://www.pyimagesearch.com/2014/08/04...

Niso si ravno podobne (razen če sta na sliki 2 dejansko različna odtenka barv rdeče, rumene, črne... potem good luck ). Morda dobiš podobne barve, če računaš povprečno barvo celotne regije - potem verjetno dobiš nek zmazek. Mediana, o kateri je govora tudi v članku, bi bila boljša.

galu : znaš mogoče pojasniti pseudokodo iz predlaganega članka? kako bi se lotil ti algoritma? Ker gre za machine learning, je verjetno algoritem precej kompliciran (govorim zase,ker sem začentik).

Težko boljše, kot je v članku (pa tudi nimam toliko časa, da bi spisal par A4 strani slovenskega prevoda).
Ja, je kar kompliciran postopek, ker bi naj bil robusten. Imaš 2 možnosti: ali implementiraš tako kot je opisano v članku - dobil boš verjetno najboljše rezultate, ali pa si stvari poenostaviš ampak boš dobil malo slabše rezultate.

precej poenostavljen pristop bi bil recimo:
- segmentacija (izločitev ROI - kablov):
oni uporabljajo referenčno sliko ozadja. To fajn, če jo maš, potrebuješ pa fiksno kamero, fiksno ozadje in nek pričakovan položaj konektorja... to je vse napisano v članku.

- izračunaj reprezentativno vrednost vsake regije - npr. RGB/HSV mediano

- klasificiraj to vrednost. Tu lahko uporabiš strojno učenje (npr. nearest neighbour, nevronska mreža), če se sam nočeš hecat z določanjem pragov.
Hint: OpenCV ma KNN že implementiran.

Zaporedje barv je potem torej zaporedje klasificiranih vrednosti reprezentativnih vrednosti vsake regije, pri čemer so regije urejene (verjetno po X osi).

S strojnim ucenjem bos dolocil optimalen prag (kjer optimalen pomeni razlicne stvari, glede na metodo, ki jo uporabis) in avtomatsko. V tvojem enostavnem primeru bi verjetno slo tudi z rocnim nastajanjem thresholdov, se sploh ce si v kontroliranem okolju (isti pogoji na sliki, predvsem kar se tice osvetlitve). Na mobitelu mi ne pokaze slike, tako da ti tezko vec povem, mogoce mi uspe zvecer ali jutri pogledat

skodaaa je 18. maj 2017 ob 09:20 izjavil:

Kar se tiče določevanja pragov (3. alineja)... zakaj bi sploh želel za določevanje pragov uporabiti strojno učenje? Predstavljam si, da po izračunu mediane na določenem območju slike dobimo pač neko vrednost (npr. za rdečo 244, za modro 280...) in nato določim prag med rdečo in modro nekje 260?

Ti imaš 3-kanalno sliko. Verjetno boš dobil 3 dimenzionalno mediano (mediana vsakega kanala), razen če boš telovadil s kakimi IR^3 --> IR preslikavami.
Ročno nastavljanje praga (klasifikacije) pri 3 dimenzijah je nerodna reč, ki jo dobro reši strojno učenje.

Še ena eksperimentalna ideja za spopadanje z različnimi tipi osvetlitev (poleg pretvorbe v HSV): namesto absolutnih vrednosti pikslov lahko gledaš razlike med njimi. Slabo osvetljena rdeča lahko ima enak value kot bolje osvetljena rjava. Bo pa v enaki svetlobi rjava mela manjši value od rdeče. Če lahko zagotoviš konstantno osvetlitev (recimo preverjanje na tekočem traku v tovarni) potem se z tem ne rabiš ukvarjat. Če bi rad mel app na telefonu, ki ga uporabljajo delavci na terenu, potem bo osvetlitev in razpoznava barv velik problem. Lahko pogledaš tudi algoritme za barvno vztrajnost oz. barvno kalibriranje.
Na koncu ugotoviš, da je vse skupaj "igranje" z izbiro značilnic - podatkov ki jih uporabiš za klasifikacijo. Pri tem pride prav strojno učenje, ker lahko spremeniš vhodne podatke (namesto barv žic gledaš razlike med njimi) in ne rabiš ročno nastavljat novih pragov ampak samo ponoviš postopek učenja ter preveriš uspešnost. Za strojno učenje boš rabil učno in testno množico - v praksi torej kup slik s pravilno in nepravilno razvrščenimi slikami.

Lepo se zahvaljujem vsem za odlične informacije in ideje.

Red_Mamba tvoj pristop z nevronskimi mrežami me zelo zanima. Zanima me koliko "Training Sample-ov" potrebuješ za učenje algoritma? Nam lahko zaupaš svoj pristop, pseudo kodo, ali celo kodo? Sam nisem še nikoli implementiral "Machine Learning" v svoje aplikacije in je to zame relativno novo področje. Super bi bilo, da bi se na podlagi trenutnega problema naučil to uporabljati in preizkusil kar na konkretnem primeru...

Drugače pa različni tipi osvetlitev žal ne pridejo v poštev. Osvetlil bi z difuzno (belo - 5000K) LED svetlobo celoten konektor. Konektorji so relativno na vedno enakih mestih (kot je v članku, ki sem, ga prilepil v prvem postu).

Lepo se imejte!!

Po mojem mnenju nevronske mreze za ta enostaven primer niti niso potrebne. Jaz bi uporabil SVM ali multiclass logistic regression (aka softmax). Stevilo classov bo enako stevilu moznih barv. Ce bos direktno sel implementirat za iskanje zaporedja, se zna mogoce mal zakomplicirat (ni pa nujno, mogoce multilabel verzija za katero izmed machine learning metod pocne to, bi moral pogledat). Tako kot je rekel red mamba, vec kot je training samplov, bolje je. Ce pridobivanje le teh ni drago (oz. zamudno), potem cim vec. Lahko pa uporabis se kaksno kombinacijo supervised in unsupervised learning, tukaj bi znal active learning zlo fajn delat (probas s cim manj dela vse sample labelirat). Jaz bi se tega lotil tako, da bi locil vsako zico posebej (segmentacija tistega dela slike, ki vsebuje zice), potem bi pa v najbolj enostavnem primeru samo naredil skripto, za katero bi bil input zica in bi ti pritisnil tipko za labelo (npr. rdeca = 0, rumena = 1, ...). Ko koncas in zacnes trenirat tvoj classifier, je pomembno da locis podatke na training in test set. Odvisno od stevila podatkov v training setu in stevila featurejev, bos moral mogoce uporabit regularizacijo (v tem primeru uporabi cross validation za dolocitev regularization parametra). Treba bo se pomislit kako naredit feature extraction (tukaj se lahko precej igras, nekaj idej: povprecna vrednost, mediana, std h, s, v komponent, ...). Ce se bos zacel z nevronskimi mrezami igrat, bos moral dolocit arhitekturo nevronske mreze in funkcijo posameznega layerja. Super stvar uporabe neural netsov je, da ne rabis eksplicitno delat feature extractiona (to se mreza nauci, med training stage-om). Bos pa tudi v tem primeru moral razmislit, kaj sploh so tvoji podatki. Se ena stvar, ki govori v prid uporabi klasifikacije posamezne barve, namesto direktno kombinacije barv - pomisli, koliko je stevilo moznih barv in koliko je stevilo moznih kombinacij barv.