[Python] Zajemanje podatkov iz PB in obdelava le-teh

Zaenkrat nimam spisane še nobene kode, ker si želim najprej razjasniti nekaj pojmov. Imam mysql bazo z nekaj 10000 vnosi, v enem izmed polj so tudi povezave do datotek na disku. Želim obdelati vsako datoteko, do katere je podana povezava v podatkovni bazi. Problem nastane v tem, da obdelava posamezne datoteke traja cca 10 sekund (+- nekaj sekund). Zato želim implementirati vrsto, hkrati pa čim bolj izkoristiti procesor ter uporabiti več niti. Implementiral bi tudi log, da v primeru napak lahko pregledam poškodovane/izbrisane datoteke in jih po potrebi odstranim iz baze. Baza je na serverju, datoteke bi se obdelovale na ločenem računalniku.

1. vprašanje: na koliko rezultatov je smiselno omejiti sql stavek? Obstaja potreba po omejitvi rezultatov?
2. vprašanje: kako se lotiti problema izpada elektrike ali kakršnekoli druge nepredvidene težave? Zaenkrat razmišljam o dodatnem stolpcu v bazi, v smislu "obdelano" T/F + error log. Obstaja kakšna boljša rešitev?

Priznam, imam premalo izkušenj, zato tudi takšna začetniška vprašanja. Kakršenkoli namig v pravo smer bo dobrodošel.

poglej si beanstalkd http://kr.github.io/beanstalkd/

dodaš vse vnose v queue na serverju potem pa na clientu zaženeš skripto ki obdeluje datoteke.. neka simpl while zanka..za paralelnost potem skripto enostavno zaženeš pač večkrat. Če je izpad elektrike, bo imel job timeout in gre avtomatsko nazaj v queue. Lohk pa zaženeš stvar na laptopu če te to skrbi.

Lahko uporabiš tudi Pentaho Kettle.

Skratka tega softwara je kot smetja, vprašanje pa je če boš to v redu naredil .

Je pa problem dovolj preprost da je za tebe dovolj ena perl/python/PHP/bash/... skripta, ki ti to pokrije.

Sploh če gre za enkratno obdelavo. Ne kompliciraj si življenja z raznimi BI/scheduler frameworki.