Forum » Strojna oprema » Pohitritev delovanja strežnika (azure/aws)
Pohitritev delovanja strežnika (azure/aws)
Pat_MaGroin ::
Pozdrav,
V azure imamo trenutno Windows 10 strežnik, ki laufa gor specifično programsko opremo, ki uporablja sql, bazo in ločeno mapo na drugem disku, kjer so dejansko podatki shranjeni. V tej mapi je prek 50k datotek, vsaka datoteka vsebuje različen nabor podatkov.
Problem je, da je disk prepočasen in v programu se zato podatki in poizvedbe izvajajo prepočasi.
Obstaja kakšna rešitev (RAM, Cache), karkoli, kamor bi spravil te podatke, da bi jih sistem hitreje bral in prikazal?
Skratka, SSD diski v azure so prepočasni, obstaja kakšna rešitev?
hvala in lp
V azure imamo trenutno Windows 10 strežnik, ki laufa gor specifično programsko opremo, ki uporablja sql, bazo in ločeno mapo na drugem disku, kjer so dejansko podatki shranjeni. V tej mapi je prek 50k datotek, vsaka datoteka vsebuje različen nabor podatkov.
Problem je, da je disk prepočasen in v programu se zato podatki in poizvedbe izvajajo prepočasi.
Obstaja kakšna rešitev (RAM, Cache), karkoli, kamor bi spravil te podatke, da bi jih sistem hitreje bral in prikazal?
Skratka, SSD diski v azure so prepočasni, obstaja kakšna rešitev?
hvala in lp
Fsegula62 ::
Najboljša rešitev ti je najet dedicated strežnik, kjer si komponent ne sharas z drugimi userji.
l0g1t3ch ::
Pat_MaGroin je izjavil:
Pozdrav,
V azure imamo trenutno Windows 10 strežnik, ki laufa gor specifično programsko opremo, ki uporablja sql, bazo in ločeno mapo na drugem disku, kjer so dejansko podatki shranjeni. V tej mapi je prek 50k datotek, vsaka datoteka vsebuje različen nabor podatkov.
Problem je, da je disk prepočasen in v programu se zato podatki in poizvedbe izvajajo prepočasi.
Obstaja kakšna rešitev (RAM, Cache), karkoli, kamor bi spravil te podatke, da bi jih sistem hitreje bral in prikazal?
Skratka, SSD diski v azure so prepočasni, obstaja kakšna rešitev?
hvala in lp
Tip diska?
Hdd, ssd NVME? Vse to so ti opcije, žal pa nimam kristalne krogle, da bi vedel kaj si izbral :)
Tac20 ::
Se pravi govoris da si maxal performance tier na single disku in je še vedno prepočasen? Storage spaces na OS-u da scalaš horizontalno? Ultra diski? Moraš povedati kaj so tvoji € omejitve
Pat_MaGroin ::
Stvar je v Azure, sklepam da ssd diski.
Videl sem, da obstaja optane PM in optane SSD za VM.
Budget ni omejen, ampak v "milijone" pa tudi ne gremo :).
Hvala za kakšne koli ideje.
Videl sem, da obstaja optane PM in optane SSD za VM.
Budget ni omejen, ampak v "milijone" pa tudi ne gremo :).
Hvala za kakšne koli ideje.
c3p0 ::
Zakaj pa sprašuješ za AWS, a je to tebi isto?
Če bi imel v AWS, bi verjetno zadaj imel EBS disk, ki mu (odvisno od tipa io1/2, gp2/3, ssd, magnetic...) lahko povečaš IOPS, BW ipd. specs.
Če niti ne veš kateri disk je, pa tako nimaš niti dostopa oz. primernega znanja in ne moreš nič optimizirat.
Če bi imel v AWS, bi verjetno zadaj imel EBS disk, ki mu (odvisno od tipa io1/2, gp2/3, ssd, magnetic...) lahko povečaš IOPS, BW ipd. specs.
Če niti ne veš kateri disk je, pa tako nimaš niti dostopa oz. primernega znanja in ne moreš nič optimizirat.
Zgodovina sprememb…
- spremenil: c3p0 ()
Pat_MaGroin ::
Seveda. Problem je, ker imam na drugi strani mize tipičnega arogatnega ITjevca (se bo kdo prepoznal verjetno), ki mi trdi, da je VM dovolj zmogljiv, ne razume pa, da smo prisiljeni uporabljat slabo spisan SW in da rabimo overkill VM, da stvar deluje nadpovprečno hitro.
In se jim ne ljubi s tem ubadat, potem pa moram jaz iskat ideje, da jih nesem sefu, ki bo potem nateral IT oddelek v raziskave.
azure/aws sem napisal, ker bomo verejtno migrirali na aws, ce se izkaze, da je boljsa opcija.
In se jim ne ljubi s tem ubadat, potem pa moram jaz iskat ideje, da jih nesem sefu, ki bo potem nateral IT oddelek v raziskave.
azure/aws sem napisal, ker bomo verejtno migrirali na aws, ce se izkaze, da je boljsa opcija.
Zgodovina sprememb…
- spremenil: Pat_MaGroin ()
Mr.B ::
Pat_MaGroin je izjavil:
Seveda. Problem je, ker imam na drugi strani mize tipičnega arogatnega ITjevca (se bo kdo prepoznal verjetno), ki mi trdi, da je VM dovolj zmogljiv, ne razume pa, da smo prisiljeni uporabljat slabo spisan SW in da rabimo overkill VM, da stvar deluje nadpovprečno hitro.
In se jim ne ljubi s tem ubadat, potem pa moram jaz iskat ideje, da jih nesem sefu, ki bo potem nateral IT oddelek v raziskave.
azure/aws sem napisal, ker bomo verejtno migrirali na aws, ce se izkaze, da je boljsa opcija.
Kateri del je prepocas. SQL ali podatki na file sistemu ?
Sql verjetno lahko migriras v dedicirano instanco podtatke pa tudi na kak premium file share.
Seveda ce je to s strani aplikacije mozno ?
France Rejects Genocide Accusations Against Israel in Gaza,
To accuse the Jewish state of genocide is to cross a moral threshold
To accuse the Jewish state of genocide is to cross a moral threshold
Pat_MaGroin ::
Baza in podatki so na istem, ampak ločenem disku. Baza je tretutno velika 24gb, podatkov pa je cca 8tb.
Težko rečem, kaj zavira, program je spisan za manjši obseg podatkov, vem da ga zenemo cez mejo, ampak enostavno ni alternative, ker je specifična zadeva.
Vem, da je premalo podatkov za pameten predlog.
Zanima me, ce bi zdaj delali svoj strežnik, je recimo optane PM in Optane diski najboljše za teoretično najboljši read/write v primerjavi z najboljšimi data ssd diski v strežnikih?
lp
Težko rečem, kaj zavira, program je spisan za manjši obseg podatkov, vem da ga zenemo cez mejo, ampak enostavno ni alternative, ker je specifična zadeva.
Vem, da je premalo podatkov za pameten predlog.
Zanima me, ce bi zdaj delali svoj strežnik, je recimo optane PM in Optane diski najboljše za teoretično najboljši read/write v primerjavi z najboljšimi data ssd diski v strežnikih?
lp
Zgodovina sprememb…
- spremenil: Pat_MaGroin ()
TESKAn ::
Če težko rečeš, kaj zavira, najprej razišči kaj točno zavira. Da na koncu ni kriv dostop do diska, ampak kaka druga 'neumnost', recimo da imaš v bazi vse v stringih da se 'lažje bere', potem gre pa vsaka poizvedba desetkrat brskat po bazi in primerjat stringe. Če ne veš kaj je problem, ga ali ne boš rešil ali pa boste plačevali x2 ali več.
Uf! Uf! Je rekel Vinetou in se skril za skalo,
ki jo je prav v ta namen nosil s seboj.
ki jo je prav v ta namen nosil s seboj.
c3p0 ::
Izmeri v VM-u direkt obremenitev diska, za win ne poznam na pamet orodij, na linuxu imaš npr. iostat. In s tem greš do tega pametnega sistemca, oz. boljše direkt do njegovega šefa.
AndrejS ::
Prva napaka je že, da sama baza laufa na dedicated VMju - le ta bi morala biti ločena.
Moreš pa prvo ugotoviti kaj je ozko grlo - DB ali Disk ?
Če je DB, se da rešiti tudi z več RAMa dodeljenega bazi.
Moreš pa prvo ugotoviti kaj je ozko grlo - DB ali Disk ?
Če je DB, se da rešiti tudi z več RAMa dodeljenega bazi.
psychoshorty ::
Pat_MaGroin je izjavil:
Seveda. Problem je, ker imam na drugi strani mize tipičnega arogatnega ITjevca (se bo kdo prepoznal verjetno), ki mi trdi, da je VM dovolj zmogljiv, ne razume pa, da smo prisiljeni uporabljat slabo spisan SW in da rabimo overkill VM, da stvar deluje nadpovprečno hitro.
In se jim ne ljubi s tem ubadat, potem pa moram jaz iskat ideje, da jih nesem sefu, ki bo potem nateral IT oddelek v raziskave.
azure/aws sem napisal, ker bomo verejtno migrirali na aws, ce se izkaze, da je boljsa opcija.
Te popolnoma stekam! Mi imamo en specificn software v AWS Cloudu, kjer imas vec tierjev kaj se ssd-jev tice. Sam uporabljam takozvan gp3 tier, kjer lahko dolocis, kaksno hitrost naj disk ima. Pri gp3 je trenutno najvec 1000Mb/s. Kar je za ssd sicer malo. Imas se privisioned IOPS SSD-je samo tole dosedaj se nisem preizkusal. Seveda, hitrejse kot rabis drazje je.
Sam sem moral nekaj casa eksperimentirati s tem, ker na netu glede tega ne najdes popolnoma nic pometnega.
Tody ::
Sorry ampak pri 8 TB podatkov bi pa rabil že malce več vedit. Ali imate kup enih smeti, ki jih ne rabite ali pa rabite en orng sistem da bo imel 8TB indeksiranih in porihtanih. Zakaj so to datoteke in ne tabele v bazi, če se jih že kliče me pa tudi zanima. Če je SW slab se ga zamenja ne pa neki zdej krivit in jebat IT-jevce. Sem delal že na sistemih ki so mlel 17 ur za cikel, dokler enkrat niso zmlel potem je bila panika ampak se je zadeva začela urejat. Začnite to rihtat preden zadeva poči.
Mr.B ::
Prva napaka je že, da sama baza laufa na dedicated VMju - le ta bi morala biti ločena.
Moreš pa prvo ugotoviti kaj je ozko grlo - DB ali Disk ?
Če je DB, se da rešiti tudi z več RAMa dodeljenega bazi.
Uporablja Windos 10 z 25GB bazo ter 8TB podatkov.
Da Bazo mora migrirat na SQL instanoc, 8TB podatkov pa na dedicated azure file share ki ga bo dostopala baza.
V vsakem primeru bo pa moral kontaktirati developerja da pove koliko € bo dal da se naredi kompatibilno.
https://www.sqlservercentral.com/articl...
France Rejects Genocide Accusations Against Israel in Gaza,
To accuse the Jewish state of genocide is to cross a moral threshold
To accuse the Jewish state of genocide is to cross a moral threshold
Pat_MaGroin ::
Programa ne moremo zamenjat, ker ni alternative.
Vsak projekt, ki ga začneš v programu, ima zadaj datoteko (nek derivat XML-a, kjer se shranjujejo dvojezična besedila). V bazi so v bistvu samo podatki o teh projektih. In potem imam za vsak projekt svojo "xml datoteko", v kateri so poizvedbe prek programa (iskanje besed, besednih zvez, celih stavkov ipd).
Na koncu imamo 50+ ljudi, ki s tem programom "poizvedujejo" po različnih "xml datotekah".
Program mi dovoljuje, da lokacijo sql baze in "project folderja" poljubno določim, če pomaga.
Vsak projekt, ki ga začneš v programu, ima zadaj datoteko (nek derivat XML-a, kjer se shranjujejo dvojezična besedila). V bazi so v bistvu samo podatki o teh projektih. In potem imam za vsak projekt svojo "xml datoteko", v kateri so poizvedbe prek programa (iskanje besed, besednih zvez, celih stavkov ipd).
Na koncu imamo 50+ ljudi, ki s tem programom "poizvedujejo" po različnih "xml datotekah".
Prva napaka je že, da sama baza laufa na dedicated VMju - le ta bi morala biti ločena.
Moreš pa prvo ugotoviti kaj je ozko grlo - DB ali Disk ?
Če je DB, se da rešiti tudi z več RAMa dodeljenega bazi.
Uporablja Windos 10 z 25GB bazo ter 8TB podatkov.
Da Bazo mora migrirat na SQL instanoc, 8TB podatkov pa na dedicated azure file share ki ga bo dostopala baza.
V vsakem primeru bo pa moral kontaktirati developerja da pove koliko EUR bo dal da se naredi kompatibilno.
https://www.sqlservercentral.com/articl...
Program mi dovoljuje, da lokacijo sql baze in "project folderja" poljubno določim, če pomaga.
Zgodovina sprememb…
- spremenil: Pat_MaGroin ()
PrimoZ_ ::
Pat_MaGroin je izjavil:
Stvar je v Azure, sklepam da ssd diski.
Videl sem, da obstaja optane PM in optane SSD za VM.
Budget ni omejen, ampak v "milijone" pa tudi ne gremo :).
Hvala za kakšne koli ideje.
Tule poglej kaki diski so ti na voljo v Azure.
https://docs.microsoft.com/en-us/azure/...
Recimo za 1TB disk gre vse od
Up to 500 IOPS; Up to 60 MB/sec (HDD)
pa do
160000IOPS; 4000MB/sec (ultra disk - nvme backed)
Pat_MaGroin je izjavil:
Seveda. Problem je, ker imam na drugi strani mize tipičnega arogatnega ITjevca (se bo kdo prepoznal verjetno), ki mi trdi, da je VM dovolj zmogljiv, ne razume pa, da smo prisiljeni uporabljat slabo spisan SW in da rabimo overkill VM, da stvar deluje nadpovprečno hitro.
In se jim ne ljubi s tem ubadat, potem pa moram jaz iskat ideje, da jih nesem sefu, ki bo potem nateral IT oddelek v raziskave.
azure/aws sem napisal, ker bomo verejtno migrirali na aws, ce se izkaze, da je boljsa opcija.
Ali lahko dobiš dostop do Azure, vsaj read, da bi videl sam kak disk imaš zares ?
Pri tebi ni problem platforma, ampak glup IT, če ti skriva detajle in je aroganten.
Zgodovina sprememb…
- spremenilo: PrimoZ_ ()
PrimoZ_ ::
Poročaj, kaj si ugotovil in če si rešil.
Danes so ti tudi v oblakih na voljo tako hitri diski, da težko ne boš dobil zadosti hitrega. Mogoče je edini problem cena.
Glede optimizacije cene pa lahko poskusiš kombinirat standard SSD za same podatke in ultra disk za cache. Čez a povezneš storage spaces.
https://github.com/freemansoft/win10-st...
Danes so ti tudi v oblakih na voljo tako hitri diski, da težko ne boš dobil zadosti hitrega. Mogoče je edini problem cena.
Glede optimizacije cene pa lahko poskusiš kombinirat standard SSD za same podatke in ultra disk za cache. Čez a povezneš storage spaces.
https://github.com/freemansoft/win10-st...
c3p0 ::
8TB, če so neki relativno statični podatki, je object storage (skoraj?) vedno prava rešitev.
Za nek app imam trenutno 150+TB S3 bucket in zadeva leti, zakaj pa ne bi... AWS skrbi za scaling, plac nikoli ne bo problem.
Se mi zdi, da je to en tistih programov, ki je bil delan za mini okolje in potem prerasel vse meje.
Za nek app imam trenutno 150+TB S3 bucket in zadeva leti, zakaj pa ne bi... AWS skrbi za scaling, plac nikoli ne bo problem.
Se mi zdi, da je to en tistih programov, ki je bil delan za mini okolje in potem prerasel vse meje.
PrimoZ_ ::
8TB, če so neki relativno statični podatki, je object storage (skoraj?) vedno prava rešitev.
Za nek app imam trenutno 150+TB S3 bucket in zadeva leti, zakaj pa ne bi... AWS skrbi za scaling, plac nikoli ne bo problem.
Se mi zdi, da je to en tistih programov, ki je bil delan za mini okolje in potem prerasel vse meje.
Napisal je v prvem postu, da gre za legacy in omejen app. Object storage mu koristi natanko NIČ.
Vprašanje koliko so realne šanse, da bi avtorji programa šli tega spreminjat, da bi to vključili. Verjetno spet okoli NIČ.
c3p0 ::
V bistvu mu lahko koristi, ker se S3 da mountat kot filesystem in presenetljivo dobro deluje. Uporabljam tako en bucket na linuxu ravno za legacy primer.
Pat_MaGroin ::
Ja, res je, program je narejen za srednje velika podjetja, mi ga gonimo prek meja, ampak kot receno, alternative ni.
8tb podatki niso staticni, je pa poizvedb seveda bistveno vec kot dejansko pisanja, pa eno datoteko "xml" lahko hkrati naslavlja več programov (ker ljudje istočasno iščejo besede).
8tb podatki niso staticni, je pa poizvedb seveda bistveno vec kot dejansko pisanja, pa eno datoteko "xml" lahko hkrati naslavlja več programov (ker ljudje istočasno iščejo besede).
Tody ::
Tole da ni alternative je malce bulshit... Pač nekdo je na kožo nekaj napisal in to zdej razpada. Treba bo malce odpret denarnico in se bo hitro našla rešitev.
pegasus ::
Sem zgoraj nekje videl "50k fajlov v eni mapi"? To je prva stvar, ki jo greš pofixat. Razbij to po več mapah, katerakoli shema ti že pade na pamet, po hashu, po prvi črki, po letih ... karkoli, samo ne imet žnj fajlov v eni mapi naenkrat.
(razen če imaš filesystem, ki je bil dizajniran za take šale, npr. weka.io)
(razen če imaš filesystem, ki je bil dizajniran za take šale, npr. weka.io)
Pat_MaGroin ::
Ni alternative, ker je to komercialni program, ki nima alternative.
Datoteke morajo biti v isti mapi, ker jih samo ta program vidi kot aktivne projekte. Sej 1 leto stare zadeve arhiviramo drugam.
Datoteke morajo biti v isti mapi, ker jih samo ta program vidi kot aktivne projekte. Sej 1 leto stare zadeve arhiviramo drugam.
DeeCoy ::
Pat_MaGroin je izjavil:
Ni alternative, ker je to komercialni program, ki nima alternative.
Datoteke morajo biti v isti mapi, ker jih samo ta program vidi kot aktivne projekte. Sej 1 leto stare zadeve arhiviramo drugam.
Alternative ni za stare CNC mašine, za kakršenkoli komercialni program pa se sigurno najde kaj. Bo pa verjetno potrebno malo odpreti denarnico. Na dolgi rok to pomeni profit, ker bodo zaposleni bistveno manj časa porabili, ko čakajo, da se en query izvede. To pomeni tudi morebitno manj zaposlenih itd.
Predlagam, da se te zadeve lotite z drugačnega vidika, torej da posodobite programsko opremo in vse, kar stoji za njo.
To je tako, kot bi še vedno imel Golf 2 za prvi avto. Sej gre.. Ampak iti 500km na morje za 14 dni z njim s celo družino pa zna biti precej boleče..
Zgodovina sprememb…
- spremenil: DeeCoy ()
pegasus ::
Pat_MaGroin je izjavil:
Ni alternative, ker je to komercialni program,Če je to komercialni program, imaš support in jim pojdi težit. Ali prodajajo skrpucalo ali pa vi to uporabljate narobe (preko okvirov, za katere je bil dizajniran).
Tody ::
DeeCoy pa a ti razumeš da ni alternative... Da majo 8 tera v XML fileh brez kake velike potrebe za to in da se to ne da preselit v bazo katere so narejene za ta namen!
Google sheet ima tudi 10 mio vrstic... pa jih uporabi če zmoreš... Pa je zadaj hud HW od googla ;)
Google sheet ima tudi 10 mio vrstic... pa jih uporabi če zmoreš... Pa je zadaj hud HW od googla ;)
Zgodovina sprememb…
- spremenil: Tody ()
DamijanD ::
Bi bila opcija, da bi za samo iskanje razvili nekaj svojega? Recimo, da bi te XMLje poindexirali in dali v elastic search? Iščeš preko tega vmesnika, potem pa v appu dostopaš direktno do zapisa, ki si ga našel preko ES?
Mr.B ::
Vse to stane. Tu je problem. rad bi prestavil na nalsendjo mo#no VM , samo ta je v startu erne 500€ vec na mesec, verjento glede na zastarelo aplikaciujo bo to stalo vsaj ene par krat toliko.
Najenostavnjesa resitev je da nekomu placa "ne siustemcu" da preveri in najde resitev s kaküno webapp + sql instanco ter file share (ok elastic search ravno ne bo poceni).
Ali pa enostavno kupite novo aplikacijo pa mate to za zgodovino.
Najenostavnjesa resitev je da nekomu placa "ne siustemcu" da preveri in najde resitev s kaküno webapp + sql instanco ter file share (ok elastic search ravno ne bo poceni).
Ali pa enostavno kupite novo aplikacijo pa mate to za zgodovino.
France Rejects Genocide Accusations Against Israel in Gaza,
To accuse the Jewish state of genocide is to cross a moral threshold
To accuse the Jewish state of genocide is to cross a moral threshold
Ales ::
Pat_MaGroin je izjavil:
Ni alternative, ker je to komercialni program, ki nima alternative.
Datoteke morajo biti v isti mapi, ker jih samo ta program vidi kot aktivne projekte. Sej 1 leto stare zadeve arhiviramo drugam.
Daj napiši, kateri konkretno program je to.
Če dejansko ni alternative, ta pa je tak šrot, kot opisuješ da je, se bo takoj našla bodoča konkurenca.
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| » | Nov napad na Intelove procesorje izrablja spreminjanje napetostiOddelek: Novice / Varnost | 8885 (6483) | mtosev |
| » | Konec Edgea, se obeta chromiumski brskalnik? (strani: 1 2 )Oddelek: Novice / Brskalniki | 24797 (19267) | MrNighthawk |
| » | Ali je smiselno uporabljati Microsoft AzureOddelek: Izdelava spletišč | 2708 (2325) | MaCoFaCo |
| » | Kolcajoči Microsoftov AzureOddelek: Novice / Omrežja / internet | 8796 (6245) | xmetallic |
| » | Server v podjetju (strani: 1 2 )Oddelek: Pomoč in nasveti | 8196 (5729) | Malajlo |