SQL in No-SQL v Dockerju

https://vsupalov.com/database-in-docker/

Članek je kar informativen in podprt z dejstvi. Najbrž podobno velja za Redis v Dockerju?

Če si web developer in danes iščeš službo, ter rečeš, da ne poznaš dockerja, ker si raje fural LXC, te na razgovoru vsi sam debelo gledajo, češ kakšno tele za časom si.

krho, ja ta kaznovalna politika je res ful vlkjučujoča. Namesto, da bi človeku (web developerju) ponudil pomoč, da ga naučiš stupid doker, ga označiš za teleta in odpikaš. Well done.

Docker je samo delček sestavljanke, za resno uporabo rabiš še nek višji nivo, orkestracijo. Tukaj je zadnja leta upravičeno glavni buzzword Kubernetes.

Seveda pa vsaka aplikacija ni primerna za dockerizacijo oz. razbijanje na mikroservise, ali pa le-ta ni smiselna.

c3p0 je 30. jul 2020 ob 12:13 izjavil:

Docker je samo delček sestavljanke, za resno uporabo rabiš še nek višji nivo, orkestracijo. Tukaj je zadnja leta upravičeno glavni buzzword Kubernetes.

Seveda pa vsaka aplikacija ni primerna za dockerizacijo oz. razbijanje na mikroservise, ali pa le-ta ni smiselna.

Skratka, ker je na operacijskem sistemu administracija kompleksna ali bom raje rekel prezakomplicirana za webshite, bomo operacijski sistem stlacili v slabo opravicilo za kvazi virtualizacijo klicov na kernel (vsaj s stalisca varnosti), se pred tem se bomo delali, da na freebsdju ne obstajajo jaili ze 20 let, ali na solarisu zone, zato, da bomo lahko opravicili zakaj linux, potem bomo nad vse skupaj stlacili se kubernetes (za katerega bi si upal trditi, da je bolj zakompliciran kot administracija na OSu), potem bomo cez vse skupaj napeli se res gnil web gui (za normalno odziven gui so ze tako ali tako vsi pozabili kako izgleda.

In se bomo pocutili, da clovestvo napreduje, ker smo iz delanja lazanj in spagetov v kodi presli na delanje lazanj in spagetov v sistemski administraciji. Zato, da bojo lahko cloud ownerji bolje zasluzili.

Res smo face, mogoce pa ni nic narobe, ce nas kaksen covid pokosi, zbije clovestvo nazaj na opice, preden se zacnemo na tem nivoju igrati se z genetiko, da jo bo vsak kurac uporabljal, bomo v zivo bitje zapakirali drugo zivo bitje, ki bo prebrikano na prvo zivo bitje, prehranjevalni trakt pa bo izgledala kot "human centipede"...



... kakor, v ne tako zelo prenesenem smislu ze danes izgledajo webshiti in uporabniki cloudov - seveda pa so se tako navadili na okus, da ne vejo vec, kaksen okus bi morala imeti hrana ... kar pride pa zadaj pa dobijo uporabniki - ki tudi nimajo vec blage veze o okusu hrane.

Moja izkusnja z ljudmi, ki vedno pavsalno "skurcajo" neko tehnologijo, je da predvsem ne razumejo celotne problematike.

Ze veckrat sem sel v pogovor o tem kako je kubernetes prekompleksen, kjer mi sogovornik na koncu opise ENOSTAVNO resitev, ki je 10x bolj komplicirana od kubernetesa. :)

Vedno se zacne z:

Pa saj samo vzames eno virtualko, vrzes gor nginx in si naredu!

Ok, ampak ce nismo online izgubljamo stranke ..

Pac postavis 2 virtualki pa load-balancer spredaj. V cem je problem?

Aha, kaksen load-balancer?

Ja virtualko pa gor haproxy, ki posilja traffic na obe masini ...

Zdaj na tej tocki se vprasas, kaj tocno si naredil, ker imas potem se vedno single point of failure na eni virtualki, ampak dajmo zaenkrat pozabit na to kompleksnost ..

Torej, imamo 2 virtualki za app in eno virtualko za load-balancer.

Ok, kako pa spravim novo application kodo na te serverje?

Ja sshjas se na masino in naredis git pull?

Aha, na obe hkrati? A ni to mal storasto?

Ja saj lahko napises cron skripto, ki preverja, ce je kaj novega na gitu in updejta kodo ..

Ok, kaj pa build proces in instalacija dependencijev? Kako zagotovis, da imata obe masini iste node/php/python pakete?

Ja so to pa to pa uno pa tretjo skripto ..

V ekstremih na tej tocki prides celo do idej, ko folk zapakira svojo aplikacijo v nek home-made tar.gz arhiv, ga hrani na nekem slabo zascitenem ftpju in ima skripto, ki ga zna deployat na masino. Seveda vse v nekem spageti bashu.

Kaj pa naredis, ce ti app na masini umre?

Pac naredis skripto/watchdog, ki preverja, ce je app ziv in ga po potrebi restarta ..

Kaj pa ce bi rad dosegel, da med deployem noben request ne gre v nic. Torej, kako zagotovis, da se deploy zgodi na obeh masinah zaporedno in ne hkrati, da lahko ena vedno servira.

Simple, samo napises skripto, ki dela to pa to ...

Pa imamo ze na desetine nekih slabo stestiranih bash skript, ki jih noben ne razume in jih je tezko vzdrzevat.

Na tej tocki sem se dotaknil le popolnih osnov delovanja aplikacij. Nisem niti omenil securitya, logov, monitoringa, avtomatskih CI/CD procesov, testiranja ...

Ironicno je, da se take resitve ljudem zdijo SIMPLE, docker in kubernetes, ki pa tocno te probleme resujeta elegantno in 1000x preverjeno sta pa KOMPLEKSNA :)

Sem delal ze v dosti firmah in od blizu videl vse te SIMPLE resitve, ki so na koncu tak grozen spaget, da ni vredno komentirat :)

OrkAA je 30. jul 2020 ob 12:59 izjavil:

Sem delal ze v dosti firmah in od blizu videl vse te SIMPLE resitve, ki so na koncu tak grozen spaget, da ni vredno komentirat :)

Ha ha ha, evo, se en webshit. Zdaj mi pa nekaj povej, kako resis to na dockerju (kjer je oseba, ki je zadolzena za njegovo varnost, povedala, da docker ni bil nikoli delan kot varnost in dokler ne bo 1st party domovalec v kernelu nikoli ne bo mogel biti varen - tako kot jaili). Ker tole tvoje sranje se je zdelo izredno komplicirano, zdaj pa se sam odgovori na identicna vprasanja + kaj se zgodi v backgroundu. Skratka ne zanima me: "deployal sem docker" ampak me zanima, kaj se je s tem zgodilo. Pa bova videla hitro, kje smo pri kompleksnosti.

Ce ne znas odgovoriti kaj se dogaja zadaj nakladas oz. si popolnoma nesposoben za uporabo "high level" kompleksne tehnologije, ki je ne razumes in ob prvi priliki, ko bos naletel na tezavo, bos naredil firmi fantasticno skodo, ker cisto slucajno ne bo na slash something websitu in bo zvisel na ogromni lazanji, ki je ne poznas niti 10%.

winterriver popolnoma si zgresil point. Jasno je, da docker sam po sebi ne nudi varnosti, niti to ni njegov namen, tako da ne vem kaj si hotel povedat.

Qushaak je 30. jul 2020 ob 12:17 izjavil:

Samo zanimalo me je za Redis, če se samo in-memory uporablja in nič shranjevanja na disk (ker ni take potrebe), če je redis kontejner dovolj zanesljiv za produkcijo ali ne. Jasno mi je, da če se rabi še shranjevanje na dis se docker varianti izogneš.

Baz v produkciji načeloma ne poganjamo v dockerju, zaenkrat ni potrebe. Če hočeš OOTB K8s redundanco, pa obstaja en dober Helm chart za to.

winterriver je 30. jul 2020 ob 12:23 izjavil:

... kakor, v ne tako zelo prenesenem smislu ze danes izgledajo webshiti in uporabniki cloudov - seveda pa so se tako navadili na okus, da ne vejo vec, kaksen okus bi morala imeti hrana ... kar pride pa zadaj pa dobijo uporabniki - ki tudi nimajo vec blage veze o okusu hrane.

Ne vem kaj so to webshiti. Ker obvladaš, pa mi prosim povej kako ti kompleksno aplikacijo z nekaj 10k aktivnimi uporabniki poganjaš in predvsem avtomatsko skaliraš glede na trenutno obremenitev, ter posodabljaš brez downtima.

Docker še zdaleč ni brez bugov, nudi pa nekaj ogromnih prednosti, ki jih očitno ne vidiš.

Razen če govoriš o nekem LAMP okolju, v katerem se igračkaš doma.

c3p0 je 30. jul 2020 ob 13:57 izjavil:

winterriver je 30. jul 2020 ob 12:23 izjavil:

... kakor, v ne tako zelo prenesenem smislu ze danes izgledajo webshiti in uporabniki cloudov - seveda pa so se tako navadili na okus, da ne vejo vec, kaksen okus bi morala imeti hrana ... kar pride pa zadaj pa dobijo uporabniki - ki tudi nimajo vec blage veze o okusu hrane.

Ne vem kaj so to webshiti. Ker obvladaš, pa mi prosim povej kako ti kompleksno aplikacijo z nekaj 10k aktivnimi uporabniki poganjaš in predvsem avtomatsko skaliraš glede na trenutno obremenitev, ter posodabljaš brez downtima.

Docker še zdaleč ni brez bugov, nudi pa nekaj ogromnih prednosti, ki jih očitno ne vidiš.

Razen če govoriš o nekem LAMP okolju, v katerem se igračkaš doma.

Ne, docker ne ponuja nic od tega. Kaj je pa njegova prednost je pa, da TEBI ni treba nicesar od tega vedeti. To je njegova prednost. In njegova slabost, da ko nekaj crkne si v kurcu, ampak docker je se obvladljiv, kubernetes pa niti pod razno, takoj ko si izven okvira copy pasta iz forumov. Lahko pa ti kolegu zgoraj odgovoris na njegova vprasanja. Dajta skupaj, pa da vidimo do kam prideta.

Za webshite si pa pojdi prebrati na net.

Bi rekel, da je razlika v pristopu kako postavit sistem:

- Bottom-up, kjer se začne z namestitvijo OS, firewall, namestitev in konfiguracija servisov (nginx, uwsgi, bind9 ...) ter potem na tej osnovi poganjat program. Tako lepo plezaš gor, in ko kaj zagušti, greš nazaj dol, kjer ti je (skoraj) vse jasno, ker si itak sam postavil. Ali pa vsaj hitro lociraš, kje je problem in lažje iščeš rešitve.
- Top-down, kjer se začne v oblaku (doker, kubernet, ...), kjer je easy začetek, ko pa začnejo stvari crkovat, pa ni znanja/izkušenj, da bi plezal po stacku dol in rešil problem. Isto se problem potencialno neoptimalne kode rešuje z "saj imamo neomejeno resursov". Ravno zato sem jaz pristaš fiksih omejitev (HW ali VPS), kjer se moraš potrudit in zadevo naredit dobro, in jokaš da je server prepočasen šele takrat, ko se z programom res ne-da/ne-splača več ukvarjat. Ker če greš prehitro naprej imaš hitro osnovne špagete na n.

winterriver je 30. jul 2020 ob 14:00 izjavil:

Ne, docker ne ponuja nic od tega. Kaj je pa njegova prednost je pa, da TEBI ni treba nicesar od tega vedeti. To je njegova prednost. In njegova slabost, da ko nekaj crkne si v kurcu, ampak docker je se obvladljiv, kubernetes pa niti pod razno, takoj ko si izven okvira copy pasta iz forumov. Lahko pa ti kolegu zgoraj odgovoris na njegova vprasanja. Dajta skupaj, pa da vidimo do kam prideta.

Kubernetes uporablja docker, lahko pa tudi kaj druga, npr. containerd, lxd... Ni omejitev, lahko razviješ tudi svojo rešitev. Nisi še odgovoril, kako ti handlaš stotine strežnikov glede prej naštetega. Jaz ga uporabljam v produkciji, že lep čas. In ja, precej je treba vedeti.

winterriver je 30. jul 2020 ob 14:25 izjavil:

HotBurek je 30. jul 2020 ob 14:06 izjavil:

Bi rekel, da je razlika v pristopu kako postavit sistem:

- Bottom-up, kjer se začne z namestitvijo OS, firewall, namestitev in konfiguracija servisov (nginx, uwsgi, bind9 ...) ter potem na tej osnovi poganjat program. Tako lepo plezaš gor, in ko kaj zagušti, greš nazaj dol, kjer ti je (skoraj) vse jasno, ker si itak sam postavil. Ali pa vsaj hitro lociraš, kje je problem in lažje iščeš rešitve.
- Top-down, kjer se začne v oblaku (doker, kubernet, ...), kjer je easy začetek, ko pa začnejo stvari crkovat, pa ni znanja/izkušenj, da bi plezal po stacku dol in rešil problem. Isto se problem potencialno neoptimalne kode rešuje z "saj imamo neomejeno resursov". Ravno zato sem jaz pristaš fiksih omejitev (HW ali VPS), kjer se moraš potrudit in zadevo naredit dobro, in jokaš da je server prepočasen šele takrat, ko se z programom res ne-da/ne-splača več ukvarjat. Ker če greš prehitro naprej imaš hitro osnovne špagete na n.

Tocno tako.

V prvi opciji poznas okolje. In kaj ga sestavlja, ves kaj se dogaja v njem, ves kako zadeve delujejo. Ce nekaj ne deluje, VES (!!!!) zakaj ne deluje.

V drugi opciji, nimas blage veze kaj se sploh dogaja (naj se enkrat omenim javine frameworke). Naredis hitro, poceni (TI si poceni), ko se pa kaj zakomplicira, plujes na plutovinastem zamasku sredi pacifika v neurju. In takoj, ko nimas moznosti copy/pastat resitev od nekoga "ki ve" in je pripravljen sharat znanje, si mrzel.

Lahko tudi tako zelo, da pokopljes projekt. Ali pa tudi ne, coz. nobody gives a fuck, ce je tvoj server dol 5 minut, ce je aplikacija spisana v kurcu, ce uporablja zadaj stack, ki je n * kompleksnost projekta, ali uporabljas web gui, ki je ze po definiciji v kurcu.

Odlocili smo se (oz. ste se), da so ljudje, ki vedo kaj delajo, predragi, in bomo raje naredili maso kretenov, ki ne vedo kaj delajo, so pa poceni, bojo pa sposobni nekaj spackati skupaj, da se bo premikalo. Je to napredek? Ja, za tiste, ki kasirajo denar, za vse ostale pa ne.

Za postavit je bistveno lažje zinštalirati nginx in ostalo šaro direktno na OS kot pa vmes postavit docker.

V tej temi je najbolj zanimivo to, da ze samo po nacinu komunikacije ves kateri devopsi "igrajo" v "visji ligi", ter kateri v domaci" :).

V dockerju lahko admin pove kaj dovoli kaj ne in kaj zahteva od razvijalca. V čem je problem? Da mora pripravt okolje?

Sam Google je napisal in uporablja K8s (in Adidas, Netflix, Huawei, Spotify ...), da je lahko zaposlil maso kretenov, ali da so si obstoječi admini olajšali delo in poenostavili marsikatere procese?

Se mi zdi, da tu debatiram z nekom, ki je WP, Apache in MySQL startal na domačem dockerju in ugotovil kaka bedarija je to, saj si vendar lahko oboje postavi direktno na kišti in mu super špila. Če bo enkrat "server" prešvoh, bo pa malo pošraufal in dodal še palčko RAMa.

Smurf je 30. jul 2020 ob 14:31 izjavil:

V tej temi je najbolj zanimivo to, da ze samo po nacinu komunikacije ves kateri devopsi "igrajo" v "visji ligi", ter kateri v domaci" :).

Hoces rect, v tretji divji ligi spodnjega dupleka? :>

pegasus je 30. jul 2020 ob 14:32 izjavil:

secops je 30. jul 2020 ob 14:28 izjavil:

Za postavit je bistveno lažje zinštalirati nginx in ostalo šaro direktno na OS kot pa vmes postavit docker.

Ni. Obseg dela je isti, samo okolje se razlikuje.

Saj res Docker se ti vrine na začetek FWja, zato pa vse čudežno takoj začne delat.

pegasus je 30. jul 2020 ob 14:43 izjavil:

winterriver je 30. jul 2020 ob 14:29 izjavil:

Za 10k userjev? To mi atom plata handla doma, brez cesar koli.

Hehe, res je. 60k unique userjev na uro sem v 2003 hendlal na single core p3/800 s 512mb rama. Dejstvo, da danes rabite več, je samo potrditev naziva webshit.

Mah zahteve po requstih je bilo pa par vrstic.

c3p0 je 30. jul 2020 ob 14:38 izjavil:

Sam Google je napisal in uporablja K8s (in Adidas, Netflix, Huawei, Spotify ...), da je lahko zaposlil maso kretenov, ali da so si obstoječi admini olajšali delo in poenostavili marsikatere procese?

Se mi zdi, da tu debatiram z nekom, ki je WP, Apache in MySQL startal na domačem dockerju in ugotovil kaka bedarija je to, saj si vendar lahko oboje postavi direktno na kišti in mu super špila. Če bo enkrat "server" prešvoh, bo pa malo pošraufal in dodal še palčko RAMa.

Oh, standing on the shoulders of fake giants, ki so navaden poden od firme in so imeli cisto sreco, da so se zrinili na to pozicijo preko CIA foundinga in tretjega produkta (vohunjenja za vsemi). Ne princeska, naredil bom najbolj optimalno glede na problem. Ampak ne bom pa niti pod razno stotine serverjev (spet manjka kup podatkov) spawnal za 10k userjev. Ce imas pa software v kurcu narejen, da se zanasa na evangelisticne tehnologije, ce cel tvoj stack zaudarja, do te mere, da RABIS googlove servise, ja potem imas problem. Ampak jaz ga nimam.

pegasus je 30. jul 2020 ob 14:43 izjavil:

winterriver je 30. jul 2020 ob 14:29 izjavil:

Za 10k userjev? To mi atom plata handla doma, brez cesar koli.

Hehe, res je. 60k unique userjev na uro sem v 2003 hendlal na single core p3/800 s 512mb rama. Dejstvo, da danes rabite več, je samo potrditev naziva webshit.

Matr, pa je le nekdo stare sole prisel na plano. +++++++++1

Eh? Kakšno vprašanje je to? Razvijalec ne ve, kako deluje disk in koliko ga stane disk seek in fsync? Takrat takim ljudem nismo rekli razvijalci ...

pegasus je 30. jul 2020 ob 14:43 izjavil:

winterriver je 30. jul 2020 ob 14:29 izjavil:

Za 10k userjev? To mi atom plata handla doma, brez cesar koli.

Hehe, res je. 60k unique userjev na uro sem v 2003 hendlal na single core p3/800 s 512mb rama. Dejstvo, da danes rabite več, je samo potrditev naziva webshit.

Amaterji ... 360k unique userjev sem jaz 1993 handlal na 486DX2 z 8MB RAMA, dejstvo, da danes rabite vec ...

BigWhale je 30. jul 2020 ob 15:12 izjavil:

Amaterji ... 360k unique userjev sem jaz 1993 handlal na 486DX2 z 8MB RAMA, dejstvo, da danes rabite vec ...

Amaterji, Han Dinastija je ze okoli leta 0 s handlala popis 57.7 mio userjev zgolj z uporabo tablic.

BigWhale je 30. jul 2020 ob 15:12 izjavil:

pegasus je 30. jul 2020 ob 14:43 izjavil:

winterriver je 30. jul 2020 ob 14:29 izjavil:

Za 10k userjev? To mi atom plata handla doma, brez cesar koli.

Hehe, res je. 60k unique userjev na uro sem v 2003 hendlal na single core p3/800 s 512mb rama. Dejstvo, da danes rabite več, je samo potrditev naziva webshit.

Amaterji ... 360k unique userjev sem jaz 1993 handlal na 486DX2 z 8MB RAMA, dejstvo, da danes rabite vec ...

Seveda. Sem preprican, da ima clovecek, neke unique requiremente (ki jih seveda ni povedal), ampak sem pa tudi preprican, da je problem v softwaru, ne v dejanskih zahtevah.

Ko bo amazon/azure/google navil cene (o, ja, in jih bojo), se bo treba pocasi spet spomniti, kaj pomeni optimizacija, kaj je on premise in kako stisniti 99% iz tega kar imas.

Dokler pa developerje sponzorirajo s svojimi trnki, da jih naredijo tako odvisne od njih, da nihce vec ne bo mogel iz vendor lockina, bojo pa take debate kot so zgoraj redno prihajale ven.

Naj vam samo povem, da je AT&T v najboljsih casih centraliziranega computinga racunal okrog 12-16 (ne da se mi iskat) dolarjev za uro uporabe centraliziranega mainframa, kamor zdaj drvimo. Pa da vas vidim, kako boste zadovoljni, ko vam bojo cloud providerji upalili tako ceno, ker preprosto nihce vec ne bo znal uporabljati svoje infrastrukture.

pegasus je 30. jul 2020 ob 15:15 izjavil:

winterriver je 30. jul 2020 ob 15:13 izjavil:

bilo bolj pomembno, da nekaj naredite hitro in poberete cekin.

Sprijazni se, v takem svetu živimo in prioritete so tako definirane. Da lahko še vedno tripaš na tehnično perfekcijo je luksuz in ne norma. Kar mi je deloma razlog, da sem se spravil v HPC, kjer tehnikalije še nekaj štejejo in so še cenjene ...

Se vedno so. Samo pac ne, na tem nivoju, kjer debatiramo zdaj. In spet bojo, glej zgoraj. Ko bojo "cloudi" zaceli pobirati kar jim res pritice in nehali sponzorirati cel svet webshitov se bo situacija zacela obracati.

Seveda, kdor si jo bo lahko privoscil.

Tole zdaj je pac neka vmesna stopnja, kjer poizkusajo cloud providerji, z direktnim poneumljanjem ljudi in igranjem brez zasluzka ali celo v svojo izgubo, cimbolj zadrgniti vse v svoja okolja, da ne bojo vec mogli pobegniti ven in placali masten del svojega zasluzka njim. In kdorkoli bo cez 10 let se znal dovolj, da bo pobegnil, bo hudo cenjena rasa. Webshite imajo pa ze zdaj za kanonfutr ("ja, si lep, si pameten, predvsem pa si poceni")