Deployanje baze podatkov na več računalnikov

A podatki so na celini, ladje pa preko slabe povezave dostopajo do njih?

Ali ladje samo berejo podatke, ali delajo tudi update potem nazaj na celino?

Je opcija HTTP cache (Varnish), ki ga furaš na ladji?

Res sem precej butasto napisal :)
Na kratko:
slike, baze in skripte so na eni ladji naenkrat kot zaključen paket. Po zbiranju podatkov migrirajo nazaj v pisarno, kjer se delo nadaljuje.

Na dolgo:
Ladje (trenutno cca 5 njih) oziroma ROV (Remotely Operated Vehicles) upravljani z ladij fotografirajo morsko dno z 1 do 5 kamerami naenkrat, s 3 do 5 12-Mpx fotografijami na sekundo. Te fotografije se shranjujejo na NAS array na vsaki ladji. Hkrati se logira navigacija ROV v text file, prav tako na ladji.

Moje python skripte se sprehajajo po NAS file systemu in berejo imena fotografij (v katerih je timestamp), berejo navigacijo in interpolirajo lokacije, orientacije in kupček ostalih metapodatkov za vsako fotografijo, in le-to zapišejo v PGSQL bazo na ladji.

V postprocessingu (še vedno na posamezni ladji) druge skripte izvajajo za quality control, avtomatizacijo obdelave podatkov itd, prav tako z PGSQL kot glavnim izvorom podatkov. Uporabniki v 99% časa dostopajo do podatkov z iste ladje.

Fotografije in DB dump se po končanem snemanju (lahko po nekaj dneh ali nekaj mesecih, odvisno od trajanja projekta) fizično (na NAS ali USB diskih) odnesejo v pisarno, priklopijo na mrežo, uvozijo v lokalno bazo in procesiranje se nadaljuje.

Primarno torej potrebujem način, za distribucijo python + PGSQL instalacije na vsako ladjo posebaj, in ki bi omogočal relativno neodvisnost baze od PCja, na katerem teče. Pričakovati od ljudi, da bodo vsakič pravilno inštalirali Python in PGSQL (s PostGIS in TimescaleDB), povezali, mapirali in podobno se je izkazalo kot pipe dream, zato potrebujem enostaven način za distribucijo.

Internetna povezava na ladjah je satlink, torej 2 Mbps deljeno z cca 40 ljudmi. Ko so ladje v pristaniščih ali v bližini naftnih ploščadi obstaja možnost 4G, vendar ni zanesljiva. Trenutno uporabljam remote dostop za konfiguracijo posameznih PCjev, vendar mi jemlje preveč časa in poskušam zadevo optimizirati, ker čakanje 1 minuto na command line ne pomaga k mentalnemu zdravju :)

Poglej si configuration management orodja ala ansible, chef, puppet. Pomagajo ti, če imaš standardiziran OS na vseh barkah.

Če ga nimaš, moraš v svojo rešitev zapakirati še nek OS layer, torej se razglej po dockerju ali poljubnem hypervisorju (kvm, qemu, vbox, vmware, ...).

Hvala!
Docker se mi zdi zanimiv in sem si ga ogledoval že pred časom, vendar me je zmotilo, da naj bi imel probleme pri branju/pisanju na CIFS/SMB share (z Windows hostov). Se je to rešilo?
Kako je pa s performance dropom zaradi dodatnega layerja linuxa med hostom in programi?

pegasus je 22. apr 2019 ob 12:24 izjavil:

Poglej si configuration management orodja ala ansible, chef, puppet. Pomagajo ti, če imaš standardiziran OS na vseh barkah.

Če ga nimaš, moraš v svojo rešitev zapakirati še nek OS layer, torej se razglej po dockerju ali poljubnem hypervisorju (kvm, qemu, vbox, vmware, ...).

Večina laufa Win7 ali Win10, je to dovolj razlike da lahko povzroča probleme? Če bi bilo nujno bi jih lahko tudi standardiziral.

Docker na Linuxu abstrahira več virtualnih okolij na enem kernel in ima torej res res minimalni overhead. Docker na Windowsu pa v ozadju uporablja Hyper-V in je to navadna virtualka, z to pomembno razliko da docker avtomatsko skrbi za konfiguracijo te virtualke in je to tebi nevidno(delaš direkt z aplikacijo).

Je pa overhead virtualke v primeru izbire primernega image (terminal Linux, Windows Server Core,..) zelo minimalen. RAMa sicer nekaj ekstra pobere, CPUja pa zanemarljivo.