Forum » Operacijski sistemi » OS za SAN
OS za SAN
levaky ::
ZFS podpira tako Write cache kot Read cache.
Write: ZIL
Read: L2ARC
Poolu s pomočjo zfs oz zpool ukaza dodaš read oz write device in je to to. Paziti moraš edino to, da v primeru, da ti odleti ZIL, ostaneš brez podatkov, ki so na njem in še niso zapisani, zato se svetuje za ZIL imeti kak RAID1. Malo si preberi okoli ZILa in njegove nevarnosti.
Zadnji Nappit podpira tudi particioniranje ZILov in L2ARC-a, tako da lahko SSD razbiješ na več particij in tako uporabiš ZIL in L2ARC za različne poole. Ne moreš pa imeti enega generalnega cacha, ki ga bodo uporabljali vsi pooli.
Matej
Write: ZIL
Read: L2ARC
Poolu s pomočjo zfs oz zpool ukaza dodaš read oz write device in je to to. Paziti moraš edino to, da v primeru, da ti odleti ZIL, ostaneš brez podatkov, ki so na njem in še niso zapisani, zato se svetuje za ZIL imeti kak RAID1. Malo si preberi okoli ZILa in njegove nevarnosti.
Zadnji Nappit podpira tudi particioniranje ZILov in L2ARC-a, tako da lahko SSD razbiješ na več particij in tako uporabiš ZIL in L2ARC za različne poole. Ne moreš pa imeti enega generalnega cacha, ki ga bodo uporabljali vsi pooli.
Matej
l0g1t3ch ::
ZFS ima l2arc, ki je namenjen cachiranju read zahtevkov in dela super. Za write pa ima ZIL, ki pa kolikor vem je namenjen samo synchronous write zahtevkom, ostali pa gredo še vedno mimo in direktno na diske.
Idealno bi bilo če bi se ZIL uporabljal za vse write zahtevke.
Idealno bi bilo če bi se ZIL uporabljal za vse write zahtevke.
Baja ::
potem je tole boljsa opcija?
- SM X9DRi-F
- 2x Xeon E5-2603
za priblizno isto ceno kot 1366 plata in e5506 procesorja.
kontrolerja 9207 ne najdem v tisti trgovini, tako da bi kar ostal na 9211.
edino kar me zdajle muci je to da ima zgornja plata 3x pcie x16 in 3x pcie x8. bom lahko v x16 slote nabil lsi9211 kontrolerje?
lp
- SM X9DRi-F
- 2x Xeon E5-2603
za priblizno isto ceno kot 1366 plata in e5506 procesorja.
kontrolerja 9207 ne najdem v tisti trgovini, tako da bi kar ostal na 9211.
edino kar me zdajle muci je to da ima zgornja plata 3x pcie x16 in 3x pcie x8. bom lahko v x16 slote nabil lsi9211 kontrolerje?
lp
Baja ::
žal nimajo nic od ibm-a. imajo lsi, 3ware/lsi, areca. je pa tale 9211 eden cenejsih ce ne najcenejsi 8portni. pride pa cca 200e
za 5600/5500 xeon serijo pa sem nasel se tole plato. X8DAH+ cena je cca 200e, kar je 200e ceneje od zgoraj omenjene X9DRi-F. in prav tako 200e ceneje od prvo izbrane.
evo, pa mam dilemo. ampak glede na to da sem trenutno v finančnem okvirju, je verjetno bolj smoterno vzeti lga2011, ali?
za 5600/5500 xeon serijo pa sem nasel se tole plato. X8DAH+ cena je cca 200e, kar je 200e ceneje od zgoraj omenjene X9DRi-F. in prav tako 200e ceneje od prvo izbrane.
evo, pa mam dilemo. ampak glede na to da sem trenutno v finančnem okvirju, je verjetno bolj smoterno vzeti lga2011, ali?
l0g1t3ch ::
ZFS podpira tako Write cache kot Read cache.
Write: ZIL
Read: L2ARC
Poolu s pomočjo zfs oz zpool ukaza dodaš read oz write device in je to to. Paziti moraš edino to, da v primeru, da ti odleti ZIL, ostaneš brez podatkov, ki so na njem in še niso zapisani, zato se svetuje za ZIL imeti kak RAID1. Malo si preberi okoli ZILa in njegove nevarnosti.
Zadnji Nappit podpira tudi particioniranje ZILov in L2ARC-a, tako da lahko SSD razbiješ na več particij in tako uporabiš ZIL in L2ARC za različne poole. Ne moreš pa imeti enega generalnega cacha, ki ga bodo uporabljali vsi pooli.
Matej
Samo kolikor sem bral je ZIL samo za synchronous write zahtevke. Torej async zahtevki še vedno gredo direkt do diska.
Kakšno je v praksi razmerje med temi zahtevki oz. katerih je več ?
levaky ::
žal nimajo nic od ibm-a. imajo lsi, 3ware/lsi, areca. je pa tale 9211 eden cenejsih ce ne najcenejsi 8portni. pride pa cca 200e
Vzami IBMa kje drugje... Poglej na idealo.at, ga dobiš že a kakih 100€ oz. poglej na ebay.de za kakšne rabljene, lahko dobiš tudi po 80€. Za ceno LSIja tukaj dobiš 2:)
MAtej
pegasus ::
Gledam LSI HBA ponudbo ... mogoče boš hotel vzeti 9207, ki je že PCIe 3 x8, 9211 je še PCIe 2.
pegasus ::
Jah na papirju imaš 2x več bandwitha na voljo ... gotovo se pozna pri fdr infinibandu, pri storageu pa če imaš res veliko diskov obešenih na en kontroler (LSIji recimo podpirajo do 256 diskov).
Sicer pa kalkulator v roke in zračunat, kolk diskov rabiš, da si želiš jih imeti obešene na PCIe v3. Potem si lahko odgovoriš na vprašanje, če se ti splača ali ne.
Sicer pa kalkulator v roke in zračunat, kolk diskov rabiš, da si želiš jih imeti obešene na PCIe v3. Potem si lahko odgovoriš na vprašanje, če se ti splača ali ne.
levaky ::
No, pa ko boš vse to naračunal, premisli tudi, ali sploh lahko toliko spraviš na mrežo. Glede na to, da bo to SAN, boš imel ostale PCje nekako povezane na SAN. Če bo to preko etherneta, potem si omejen s hitrostjo le-tega. Če bo kak IB, potem so hitrosti(verjetno) lahko večje, nisem preveč doma v IBju
Matej
Matej
Baja ::
potem bom verjetno kar na v2 ostal. mreza je gigabitna, prometa tudi ne pricakujem dosti. do podatkov dostopata max 2 userja naenkrat.
verjetno pa bom tudi res nabavil ibm m1015, vidim da gre do 16diskov gor. na lsi jih gre 8, kolko sem videl. tudi ce vseeno nabavim 4 za 32 diskov, se je vedno enkrat ceneje. kako pa je z miksanjem kontrolerjev? en lsi + en ibm? tole bi slo?
pocakam cez vikend, da se mi malo vsede zdaj tole vse skupaj v glavo, pol pa naprej
verjetno pa bom tudi res nabavil ibm m1015, vidim da gre do 16diskov gor. na lsi jih gre 8, kolko sem videl. tudi ce vseeno nabavim 4 za 32 diskov, se je vedno enkrat ceneje. kako pa je z miksanjem kontrolerjev? en lsi + en ibm? tole bi slo?
pocakam cez vikend, da se mi malo vsede zdaj tole vse skupaj v glavo, pol pa naprej
levaky ::
Za IBM verjetno narobe gledaš. Nanj gre 8 diskov(2 SFF konektorja). Miksanje kontrolerje ne dela problema. Lahko uporabiš tudi IBM, LSI in tistega na plati. Računaj, da imaš tudi na plati še kontroler, ki ga tudi lahko uporabiš za zfs pool, le podpirat mora JBOD, kar pa večina tako ali tako že.
MAtej
MAtej
Dami ::
žal nimajo nic od ibm-a. imajo lsi, 3ware/lsi, areca. je pa tale 9211 eden cenejsih ce ne najcenejsi 8portni. pride pa cca 200e
za 5600/5500 xeon serijo pa sem nasel se tole plato. X8DAH+ cena je cca 200e, kar je 200e ceneje od zgoraj omenjene X9DRi-F. in prav tako 200e ceneje od prvo izbrane.
evo, pa mam dilemo. ampak glede na to da sem trenutno v finančnem okvirju, je verjetno bolj smoterno vzeti lga2011, ali?
Pa saj ne rabiš v eni trgovini vse kupit? 9211 kontroler je star (ista stvar ko ibm m1015 ki ga dobiš za 2x manj) in ga je zamenjal 9207 ki stane isto.
Kar se plate tiče si najprej naštej kaj sploh rabiš. Nujno dual al je lahk single socket (2011 v vsakem primeru). 2x al 4x gbit ali mogoče 10gbit. X8DAH+ je bolj meh ker nima ipmi (-F modeli) in verjemi YOU WANT THAT
, brez pci3.0, star mrezni konroler (čeprav ni prav nič narobe z njim). Če ne rabiš 10gbit bi jaz kaj takega. Don't worry about me. The bleeding is just the begining of a healing process.
pegasus ::
verjetno pa bom tudi res nabavil ibm m1015, vidim da gre do 16diskov gor. na lsi jih gre 8,Ne, na 8 portni lsi gre 128 diskov. Na ibma verjetno tudi. Glej sas expanders.
Štos je v tem, da en sas kanal (6Gb/s) polno izkoristiš šele z večimi diski ali 2-3 ssdji.
levaky ::
Ja ja, z SAS expanderji gre gor več diskov... Kolk dobro delujejo te expandeji je pa tudi vprašanje... Na HardForum-u je kar nekaj tem, ko zadeve ne delujejo tako dobro kot bi morale. Če želiš care-free zadevo, potem vzameš obični HBA in daš gor toliko diskov, kot jih lahko direktno priklopiš.
Sicer pa, je res potreba po dual-socket platah za SAN? Saj načeloma procesor veliko ne dela z izjemo računanja paritete za RAID, pa še tisto imajo zdej novi proci baje posebne enote za izračun le-tega(nekje sem bral, se ne spomnim točno).
Mogoče napiši za kaj boš sploh rabil SAN, ker če bo to en storage, kamor se bo odlagalo slike/filme/delovno gradivo, potem je dual socket čist prehuda zadeva. Tudi če je to za firmo in ne bo nekega hudega prometa gor(praviš, da bosta do njega dostopala 2 pcja), potem imaš pomoje dovolj kako single socket plato pa kak E3-3210V2 CPU in gasa... Edino ne vem kako je potem z PCIe socketi, pa tudi RAM je omejen na 32GB, ampak če ne bo veliko povpraševanja po mejhnih fajlih in dovolj SSD cacha, potem tudi to nebi smel biti problem.
IPMI pa OBVEZNO vzami oz ga naj ima plata.
Matej
Sicer pa, je res potreba po dual-socket platah za SAN? Saj načeloma procesor veliko ne dela z izjemo računanja paritete za RAID, pa še tisto imajo zdej novi proci baje posebne enote za izračun le-tega(nekje sem bral, se ne spomnim točno).
Mogoče napiši za kaj boš sploh rabil SAN, ker če bo to en storage, kamor se bo odlagalo slike/filme/delovno gradivo, potem je dual socket čist prehuda zadeva. Tudi če je to za firmo in ne bo nekega hudega prometa gor(praviš, da bosta do njega dostopala 2 pcja), potem imaš pomoje dovolj kako single socket plato pa kak E3-3210V2 CPU in gasa... Edino ne vem kako je potem z PCIe socketi, pa tudi RAM je omejen na 32GB, ampak če ne bo veliko povpraševanja po mejhnih fajlih in dovolj SSD cacha, potem tudi to nebi smel biti problem.
IPMI pa OBVEZNO vzami oz ga naj ima plata.
Matej
Baja ::
glede m1015 sem verjetno nekaj zamesal. raje pa bom vzel kontrolerje kot sas expanderje.
zadeva se bo uporabljala za arhiv/začasno hrambo video materiala. dual socket bi vzel zaradi rama, ker bi rad v prihodnosti gor obesil 70-100Tb diskovja, tak da mora podpirati vsaj 192gb rama. lahko pa lahko tudi da bo potreba po procesorski moci narasla. rad bi neko nadgradljivo osnovo, da ne bom cez 3 leta iskal nove plate.
bandwith-a ne bo dosti. vse skupaj bo na 1Gb mrezi, tako da 10gb ni pogoj, je pa zaželjen :)
če ma dual port, potem predvidevam da se da oba izkoristiti, ali?
zadeva se bo uporabljala za arhiv/začasno hrambo video materiala. dual socket bi vzel zaradi rama, ker bi rad v prihodnosti gor obesil 70-100Tb diskovja, tak da mora podpirati vsaj 192gb rama. lahko pa lahko tudi da bo potreba po procesorski moci narasla. rad bi neko nadgradljivo osnovo, da ne bom cez 3 leta iskal nove plate.
bandwith-a ne bo dosti. vse skupaj bo na 1Gb mrezi, tako da 10gb ni pogoj, je pa zaželjen :)
če ma dual port, potem predvidevam da se da oba izkoristiti, ali?
levaky ::
No, tudi 100TB imaš lahko na 4GB rama, saj RAM ni pogoj za veliko RAID polje. Več kot imaš rama, več rama bo porabljenega za cache, ampak če boš gor hranil video material, itaq ne rabiš kakih hitrih dostopnih časov ali hitrih prenosov, tko da je količina rama vprašljiva.
Na tvojem mestu bi mogoče razmislil o All-in-one ESX mašini. Tako lahko gor poganjaš še kake virtualne mašine, morda ostale pcje po hiši uporabiš kot thin cliene in tako rabiš samo 1 hudo mašino. Ali pa kak DLNA server,...
Matej
Na tvojem mestu bi mogoče razmislil o All-in-one ESX mašini. Tako lahko gor poganjaš še kake virtualne mašine, morda ostale pcje po hiši uporabiš kot thin cliene in tako rabiš samo 1 hudo mašino. Ali pa kak DLNA server,...
Matej
l0g1t3ch ::
Zakaj sploh kupiti neko HBA kartico, če uporabljaš raidz ? So vseeno kake prednosti v primerjavi z tem, da diske priklopiš kar na sata porte, ki so že na matični ?
levaky ::
HBA kupiš samo takrat, ko ti manjka portov na plati. V SANu jih ponavadi hitro zmanjka, sploh če delaš kak 10TB+ sistem...
No pa seveda, če je tisti na plati podprt...
Matej
No pa seveda, če je tisti na plati podprt...
Matej
Zgodovina sprememb…
- spremenil: levaky ()
matevzm2 ::
Jaz sem se za domaco rabo igral z linuxom. Evo izkusnje, ce komu kaj pomagajo.
En poskus je bil z md raidom. Zadeva dela lepo, plus je fleksibilnost. Array se lahko preprosto povecuje z dodajanjem diskov.
Nekoliko nerodno je bilo, ker se ni dalo filesystema povecati cez 14TB, ker sem imel ext4 in tooli se niso bili prilagojeni.
Drug problem je bil ponesrecen upgrade linuxa (ubuntu). Pri upgradeu je slo nekaj narobe z grubom in da ne bi bilo problemov sem odklopil raid. Pri priklopu pa pozabil priklopiti 2 diska, array se ne prizge. Ugasnil, priklopil vse, prizgal. Array se vedno down, sedaj pa ignorira vse razen teh 2 diskov. Po dolgem mucenju mi je se en disk crknil in sem koncu obupal. Ni mi cisto jasno kako, in tudi testi v virtualki so pokazali podobno kot pri http://serverfault.com/questions/347606... , kjer se vidi, da je md array odporen na neverjetne potegavscine.
Napotek za uporabnike md raida, sploh z vec diski: zapisite si output
na ta nacin boste imeli zapisan vrstni red diskov po serijskih stevilkah diskov. Drugace iz logov ni razvidno, kaksen je bil tocno vrstni red in ste obsojeni na poskusanje permutacij. Se zelo zavlece pri vec diskih.
Trenutno pa tece ZFS preko dkms-ja. Kolikor sem pogledal, je slabost razsirjanje, ker se ne da dodati enega diska in iti naprej. Priporocajo vdeve iz nekaj manj diskov, pa potem razsirjanje poola. Kar pomeni, da moras razsirjati v kar velikih korakih, vsaj ce imas raidz2. Kar se tice kapacitete, pa prebavlja vecje file systeme brez tezav.
Malce me je edino presenetilo kako se spreminja kapaciteta v odvisnosti od stopnje raida in stevila diskov. Kot kaze je tudi tu dobro vodilo 4*n + parity.
Primer cudnosti, ki je online kalkulatorji nocejo pokazati: 12 2TB diskov da 21.4 skupno, v raidz 19, v raidz2 16.3 in v raidz3 15.6. Tukaj je razlika med raidz2 in raidz3 0.7TB, kar ni logicno. Na koncu sem ni naredil tabelico. (ker ne dela lepo ne pre tag ne table, je zal format cuden)
Kar se tice resync casa. To se da relativno dobro zracunati. Za preracunanje resynca je potrebno prebrati vse podatke. Vzames kapaciteto in hitrost in zracunas. md raidu lahko reces koliko naj minimalno synca, ga pa vsak load ubija. zfs resilver pa je pametnejsi in bere samo kolikor je podatkov, tako da je lahko na bolj praznem disku hitrejsi.
En poskus je bil z md raidom. Zadeva dela lepo, plus je fleksibilnost. Array se lahko preprosto povecuje z dodajanjem diskov.
Nekoliko nerodno je bilo, ker se ni dalo filesystema povecati cez 14TB, ker sem imel ext4 in tooli se niso bili prilagojeni.
Drug problem je bil ponesrecen upgrade linuxa (ubuntu). Pri upgradeu je slo nekaj narobe z grubom in da ne bi bilo problemov sem odklopil raid. Pri priklopu pa pozabil priklopiti 2 diska, array se ne prizge. Ugasnil, priklopil vse, prizgal. Array se vedno down, sedaj pa ignorira vse razen teh 2 diskov. Po dolgem mucenju mi je se en disk crknil in sem koncu obupal. Ni mi cisto jasno kako, in tudi testi v virtualki so pokazali podobno kot pri http://serverfault.com/questions/347606... , kjer se vidi, da je md array odporen na neverjetne potegavscine.
Napotek za uporabnike md raida, sploh z vec diski: zapisite si output
cat /proc/mdstat
ls -al /dev/disk/by-id/
na ta nacin boste imeli zapisan vrstni red diskov po serijskih stevilkah diskov. Drugace iz logov ni razvidno, kaksen je bil tocno vrstni red in ste obsojeni na poskusanje permutacij. Se zelo zavlece pri vec diskih.
Trenutno pa tece ZFS preko dkms-ja. Kolikor sem pogledal, je slabost razsirjanje, ker se ne da dodati enega diska in iti naprej. Priporocajo vdeve iz nekaj manj diskov, pa potem razsirjanje poola. Kar pomeni, da moras razsirjati v kar velikih korakih, vsaj ce imas raidz2. Kar se tice kapacitete, pa prebavlja vecje file systeme brez tezav.
Malce me je edino presenetilo kako se spreminja kapaciteta v odvisnosti od stopnje raida in stevila diskov. Kot kaze je tudi tu dobro vodilo 4*n + parity.
Primer cudnosti, ki je online kalkulatorji nocejo pokazati: 12 2TB diskov da 21.4 skupno, v raidz 19, v raidz2 16.3 in v raidz3 15.6. Tukaj je razlika med raidz2 in raidz3 0.7TB, kar ni logicno. Na koncu sem ni naredil tabelico. (ker ne dela lepo ne pre tag ne table, je zal format cuden)
disks__________ 14__ 13__ 12__ 11__ 10__ 9___ 8___ 7___
capacity_______ 25.0 23.2 21.4 19.6 17.8 16.1 14.5 12.5
capacity raidz_ 22.1 20.7 19.0 17.5 15.9 14.2 12.0 10.5
capacity raidz2 20.4 19.1 16.3 15.0 13.6 12.2 10.1 8.28
capacity raidz3 18.1 16.9 15.6 14.3 11.9 9.84 8.14 7.09
Kar se tice resync casa. To se da relativno dobro zracunati. Za preracunanje resynca je potrebno prebrati vse podatke. Vzames kapaciteto in hitrost in zracunas. md raidu lahko reces koliko naj minimalno synca, ga pa vsak load ubija. zfs resilver pa je pametnejsi in bere samo kolikor je podatkov, tako da je lahko na bolj praznem disku hitrejsi.
pegasus ::
na ta nacin boste imeli zapisan vrstni red diskov po serijskih stevilkah diskov. Drugace iz logov ni razvidno, kaksen je bil tocno vrstni red in ste obsojeni na poskusanje permutacij.Res uživaš v trpljenju ...
Mdadm ima parameter examine, kjer ti za posamezno particijo pove, kateremu raidu je pripadala in kater slot v njem je zavzemala, vkolikor je superblok berljiv.
matevzm2 ::
Mdadm ima parameter examine, kjer ti za posamezno particijo pove, kateremu raidu je pripadala in kater slot v njem je zavzemala, vkolikor je superblok berljiv.
In ce to ne dela, si obsojen na poskusanje. Ce bi bilo z id-ji vse v redu, bi se raid itak sam pobral.
Definiran je bil na id, ne na zaporedje diskov (ki se itak spreminja med booti).
driver_x ::
Jaz sem imel na linuxu RAID 5, sestavljen iz štirih diskov. Po nekaj časa je eden odletel in sem ga zamenjal z novim. Sistem je deloval do prihoda novega diska. Ko se je začel rebild arraya, je sistem na enem od preostalih treh diskov zaznal slab sektor in ga izločil iz polja. Po nekaj neuspelih poizkusih ponovnega vstavljanja tega diska, tudi z odpravljenim slabim sektorjem, sem nato vse skupaj sestavil na novo in podatke rešil iz backupa. Ker gre za domačo zadevo in ne potrebujem top-šit performans, sem natomnabavil en namenski NAS.
levaky ::
Na katerem pa ravno tako lavfa mdraid in lahko naletiš na iste probleme... Če si slučajno NAS kupil zato, da teh problemov nebi imel...
driver_x ::
Vem, ampak ima malenkst več avtomatizma pri preverjanju stanja diskov in potem pri rebuildanju. Zanašam pa se itak na backup. Idealno bi bilo imeti kakšno zadevo, o katerih se pogovarjamo tukaj, ampak nekoliko presega budget za hranjenje domačih fotk in video posnetkov.
levaky ::
KAteri variata ima več avtomatizma pri preverjanju? NAmesto mdraida in linuxa izberi eno od zgornjih rešitev. Naj bo to FreeNAS, NAS4Free, OmniOS+NAppit,... Vse rešitve uporabljajo ZFS, ki sam skrbi za "self-healing", tudi pred silent errorji, poleg rod bits,napak na RAID polju in ostalih(z scrub-om). Mislim, da kar se tiče robustnosti pred napakami, ga ni čez ZFS(mal si preberi Data Integrity na wikipediji). Za FreeNAS sicer nisem prepričan, ampak Nappit ti pošlje email ob vsaki napaki + lahko ti dnevno pošilja stanje naprave.
HP Microserver pa tudi ne stane veliko denarja... REcimo cena enega povprečnega NASa
HP Microserver pa tudi ne stane veliko denarja... REcimo cena enega povprečnega NASa
Zgodovina sprememb…
- spremenil: levaky ()
driver_x ::
ZFS in njegove prednosti poznam, saj sem se svoje čase ukvarjal s Solarisom. Rešitev, ki sem jo imel prej, je bila narejena na OpenSuSE in ne na kakšni namenski NAS distribuciji. Če bi takrat videl kaj podobnega tem Microserverjem, bi se sigurno odločil za kaj takega. Tako na hitro se mi zdi, da so cene precej bolj ugodne, kakor pri namenskih NAS-ih.
Dami ::
Malce me je edino presenetilo kako se spreminja kapaciteta v odvisnosti od stopnje raida in stevila diskov. Kot kaze je tudi tu dobro vodilo 4*n + parity.
Primer cudnosti, ki je online kalkulatorji nocejo pokazati: 12 2TB diskov da 21.4 skupno, v raidz 19, v raidz2 16.3 in v raidz3 15.6. Tukaj je razlika med raidz2 in raidz3 0.7TB, kar ni logicno. Na koncu sem ni naredil tabelico. (ker ne dela lepo ne pre tag ne table, je zal format cuden)
disks__________ 14__ 13__ 12__ 11__ 10__ 9___ 8___ 7___
capacity_______ 25.0 23.2 21.4 19.6 17.8 16.1 14.5 12.5
capacity raidz_ 22.1 20.7 19.0 17.5 15.9 14.2 12.0 10.5
capacity raidz2 20.4 19.1 16.3 15.0 13.6 12.2 10.1 8.28
capacity raidz3 18.1 16.9 15.6 14.3 11.9 9.84 8.14 7.09
Zelo se pozna tudi ali imaš diske s 4k ali 512b sektorji. Pri slednjih overhead požre lahko tudi 4x manj prostora kot pri 4k diskih. Jaz iz 10 RED 3TB (27.2TB capacity) dobim ven 20.4TB raid2z.
Don't worry about me. The bleeding is just the begining of a healing process.
Baja ::
@dami, levaky: torej, če vzamem enoprocesorsko plato (2011) ki podpira recimo 96Gb rama, bi moglo biti dovolj za moje potrebe. za arhiv max 100Tb podatkov z minimalno količino prometa. Sem razumel da je 1Gb rama / 1 Tb podatkov "pogoj" za normalno delovanje.
kogledom ::
@Baja Pa ne za normalno delovanje. Za normalno delovanje bo nekaj GB rama popolnoma dovolj, sploh če ne rabiš hitrih prenosov. 1GB RAM/TB je za deduplication, drugače je pisanje res počasno. Če imaš video podatke izklopiš stiskanje in dedup in bo vse OK tudi z majhno količino rama, saj se v tem primeru ram porabi samo za cache.
Edit: Preberi to
Edit: Preberi to
Zgodovina sprememb…
- spremenil: kogledom ()
Baja ::
pol bi tale plata morala zadostovati mojim potrebam
X9SRL-F
gledal sem tudil tole
X9SRi-3f
vendar bi raje vzel prvo, saj ima vec razširitvenih slotov.
procesor pa bi potem tudi en tak moral biti zadosti - Xeon E5-2603
lp
X9SRL-F
gledal sem tudil tole
X9SRi-3f
vendar bi raje vzel prvo, saj ima vec razširitvenih slotov.
procesor pa bi potem tudi en tak moral biti zadosti - Xeon E5-2603
lp
Zgodovina sprememb…
- spremenil: Baja ()
levaky ::
Dovolj ti bo tudi kak E3-3210V2, samo ne vem, ali je le-ta na 2011 podnožju. Ma ne sam da bo dovolj, totalen overkill bo.
Trenutno mi NAs poganja najbolj osnoven i3(sandy afaik) z 8gb rama(cca 10TB, 4TB je web+baza, 6TB je video/dokumenti) in 99,9% idla. Tako ali tako cpu lavfa samo, kadar zapisuje kake podatke na RAIDz polje, ker more računati pariteto(4tb je RAID10). No, pa če so kakšni bulk prenosi, ampak teh tud ni veliko, parkrat na teden.
Bom pa ob priliki menjali za tole:
x9scm-f oz x9scm-iif, ker ima slednja 2 isti mrežni, ki sta obe podporti v ESXi out of the box
http://www.idealo.at/preisvergleich/Off...
Intel Xeon E3-1230V2(tukaj je treba paziti, saj ima V2 neke probleme, če imaš 3 kontrolerje za diske, saj ne zna uspešno vse tri passthrughat na guesta, če uporabljaš ESX. Če boš imel samo SAN brez virtualizacije, potem ni panike).
http://www.idealo.at/preisvergleich/Pro...
Tole je pomoje za domačo in za manjša podjetja overkill!
Matej
Trenutno mi NAs poganja najbolj osnoven i3(sandy afaik) z 8gb rama(cca 10TB, 4TB je web+baza, 6TB je video/dokumenti) in 99,9% idla. Tako ali tako cpu lavfa samo, kadar zapisuje kake podatke na RAIDz polje, ker more računati pariteto(4tb je RAID10). No, pa če so kakšni bulk prenosi, ampak teh tud ni veliko, parkrat na teden.
Bom pa ob priliki menjali za tole:
x9scm-f oz x9scm-iif, ker ima slednja 2 isti mrežni, ki sta obe podporti v ESXi out of the box
http://www.idealo.at/preisvergleich/Off...
Intel Xeon E3-1230V2(tukaj je treba paziti, saj ima V2 neke probleme, če imaš 3 kontrolerje za diske, saj ne zna uspešno vse tri passthrughat na guesta, če uporabljaš ESX. Če boš imel samo SAN brez virtualizacije, potem ni panike).
http://www.idealo.at/preisvergleich/Pro...
Tole je pomoje za domačo in za manjša podjetja overkill!
Matej
Baja ::
super, pol bom vzel kar x9srl-f + e5-2603 + 32gb rama.
mogoce v prihodnosti res postavim gor kaki lokalni web server pa kaksno virtualko.
hvala vsem za info in nasvete
mogoce v prihodnosti res postavim gor kaki lokalni web server pa kaksno virtualko.
hvala vsem za info in nasvete
jlpktnst ::
Sem vprašat zakaj nihče ne gleda AMD procesorjev? Kolikor vem imajo nitenje čisto dobro poštimano. Za nekaj takega bi lahko bil tudi desktop cpu dovolj dober, no sicer bomo pa videli.
Zadnje čase berem tudi jaz dosti o ZFS in razmišljam o tem, je mogoče Linux dovolj daleč z binarnim ZFS paketom? Je to kdo testiral?
Pa glede vdev-ov, se mi zdi da je 5 diskov že kar dosti za raid-z2, sploh če so veliki! Pri 10 diskih bi pa jaz raje naredil 2 vdeva, vsak po 5 raid-z2. Pa mogoče riskiral še za 11(in12?) disk za hot-spare. Občutek ko imaš single party setup in rebuildaš array, pa crkne še hot-spare in laufaš na sopari, ter samo gledaš kdaj bo crknil še en disk ni dober. Sploh če je rebuild ure in ure... priporočena meja za parity je pa tudi na velikost polja, ne samo na število diskov.
Pa menda je performance precej boljši če imaš 2 vdeva kot pa enega za 10 diskov, right? Po logiki je tudi tako, striping pač. Plus lažje razširit array.
No zdej sem se pa nabluzil, mi pa samo mogoče še povejte to kar sem vprašal na začetku, kako zrel je http://zfsonlinux.org/ ? Pa ne samo stabilnostno, tudi performančno. Kakšne osebne izkušnje? Manjkajo funkcije mogoče? Mašina bo sicer za storage, samo bom pa še kaj drugega tudi počel z njo, in bi bilo precej bolj udobno imet linux.
Zadnje čase berem tudi jaz dosti o ZFS in razmišljam o tem, je mogoče Linux dovolj daleč z binarnim ZFS paketom? Je to kdo testiral?
Pa glede vdev-ov, se mi zdi da je 5 diskov že kar dosti za raid-z2, sploh če so veliki! Pri 10 diskih bi pa jaz raje naredil 2 vdeva, vsak po 5 raid-z2. Pa mogoče riskiral še za 11(in12?) disk za hot-spare. Občutek ko imaš single party setup in rebuildaš array, pa crkne še hot-spare in laufaš na sopari, ter samo gledaš kdaj bo crknil še en disk ni dober. Sploh če je rebuild ure in ure... priporočena meja za parity je pa tudi na velikost polja, ne samo na število diskov.
Pa menda je performance precej boljši če imaš 2 vdeva kot pa enega za 10 diskov, right? Po logiki je tudi tako, striping pač. Plus lažje razširit array.
No zdej sem se pa nabluzil, mi pa samo mogoče še povejte to kar sem vprašal na začetku, kako zrel je http://zfsonlinux.org/ ? Pa ne samo stabilnostno, tudi performančno. Kakšne osebne izkušnje? Manjkajo funkcije mogoče? Mašina bo sicer za storage, samo bom pa še kaj drugega tudi počel z njo, in bi bilo precej bolj udobno imet linux.
Zgodovina sprememb…
- spremenil: jlpktnst ()
pegasus ::
Zadnje čase berem tudi jaz dosti o ZFS in razmišljam o tem, je mogoče Linux dovolj daleč z binarnim ZFS paketom? Je to kdo testiral?Ja, LLNL ima lustre storage postavljen na zfs nad linuxom. Poročajo še o občasnih kernel panikah, uglavnem pa kar dela. Tu glej recimo to prezentacijo.
Dami ::
Pa glede vdev-ov, se mi zdi da je 5 diskov že kar dosti za raid-z2, sploh če so veliki! Pri 10 diskih bi pa jaz raje naredil 2 vdeva, vsak po 5 raid-z2. Pa mogoče riskiral še za 11(in12?) disk za hot-spare. Občutek ko imaš single party setup in rebuildaš array, pa crkne še hot-spare in laufaš na sopari, ter samo gledaš kdaj bo crknil še en disk ni dober. Sploh če je rebuild ure in ure... priporočena meja za parity je pa tudi na velikost polja, ne samo na število diskov.
Pa menda je performance precej boljši če imaš 2 vdeva kot pa enega za 10 diskov, right? Po logiki je tudi tako, striping pač. Plus lažje razširit array.
raid2z se najbolše nardi iz 6 oz 10 diskov. Če te skrbi zanesljivost, pol nardiš pač 3way mirror.
Don't worry about me. The bleeding is just the begining of a healing process.
matevzm2 ::
Sem vprašat zakaj nihče ne gleda AMD procesorjev? Kolikor vem imajo nitenje čisto dobro poštimano. Za nekaj takega bi lahko bil tudi desktop cpu dovolj dober, no sicer bomo pa videli.
Jaz sem tudi gledal to, kar je malce slabse pri AMDju je poraba elektrike. Ampak tudi to pri dolocenih primerih ne pride veliko.
No zdej sem se pa nabluzil, mi pa samo mogoče še povejte to kar sem vprašal na začetku, kako zrel je http://zfsonlinux.org/ ? Pa ne samo stabilnostno, tudi performančno. Kakšne osebne izkušnje? Manjkajo funkcije mogoče?
Jaz sedaj mesec ali dva to poganjam. Zaenkrat dela lepo, tudi upgradei na ubuntu so sli lepo skozi. Pri reinstalaciji v drugo sem imel probleme z dkms in se zfs ni vklopil, ampak se je hitro naslo online kako zadevo popraviti.
Performancno nisem gledal, ker imam pocasen kontroler in mi hitrost trenutno ni prioriteta. Funkcije ne vem ce kaj manjka. Mi je bilo vsec, da je ashift ze na 12 brez telovadbe, kar pomeni tudi da zadevo kar vzdrzujejo.
jlpktnst ::
@Dami: Ja načeloma res 10+ če imaš manj kot 1TB diske, če imaš 2TB je pomoje že 6+ za dual parity, če imaš pa še večje diske bi pa jaz dual parity že pri 4 ali 5. Ko bodo še večji pa ne vem kaj bomo :P Fora je pač da se v večjem polju povečuje čas za regeneracijo neglede nujno na količino diskov. Že sama velikost diskov vpliva kar oreng. Malo elaboriraj zakaj točno 6 ali 10, je kak poseben razlog?
@matevzm2: Aha,no bom verjetno tudi jaz vrgel tole gor :P Drugače pa... poraba je različna samo v full loadu, idle poraba je prekleto blizu. Pa tudi vmesne porabe.
@matevzm2: Aha,no bom verjetno tudi jaz vrgel tole gor :P Drugače pa... poraba je različna samo v full loadu, idle poraba je prekleto blizu. Pa tudi vmesne porabe.
matevzm2 ::
@Dami: Ja načeloma res 10+ če imaš manj kot 1TB diske, če imaš 2TB je pomoje že 6+ za dual parity, če imaš pa še večje diske bi pa jaz dual parity že pri 4 ali 5. Ko bodo še večji pa ne vem kaj bomo :P Fora je pač da se v večjem polju povečuje čas za regeneracijo neglede nujno na količino diskov. Že sama velikost diskov vpliva kar oreng. Malo elaboriraj zakaj točno 6 ali 10, je kak poseben razlog?
Performancno priporocajo 4*n + parity. Pri meni se je izkazalo dobro tudi za kapaciteto. raidz2 torej najboljse 4+2 ali 8+2 (ali 12+2).
pegasus ::
Layout je popolnoma odvisen od IO vzorca, za katerega želiš optimizirati diskovno polje.
Primer za lustre: zadeva dela 1MB write, torej array sestaviš v raid6 8+2 s 128KB stripe size. 1MB se ti tako razporedi kot ena IO operacija na 10 diskov in tako dosežeš optimalne zmogljivosti. Ali pa 4+1 s 256KB stripe size, če nimaš toliko diskov.
Primer za lustre: zadeva dela 1MB write, torej array sestaviš v raid6 8+2 s 128KB stripe size. 1MB se ti tako razporedi kot ena IO operacija na 10 diskov in tako dosežeš optimalne zmogljivosti. Ali pa 4+1 s 256KB stripe size, če nimaš toliko diskov.
Baja ::
po spletu (ne)srečnih okoliščin dobim 2procesorsko plato in ker bo zgleda res overkill za moje trenutne potrebe, razmisljam da bi gor obesil se kaksno virtualno masino.
gledal sem ESXi od VMWare-a ampak mi ne diši omejitev 32Gb rama. obstaja kaka cisto zastonj opcija? oziroma koliko pride, če kupiš za več rama verzijo. nevem al ne najdem, ali nimajo cen.
zraven tega bi na tem laufal se lokalni spletni streznik (Apache, mysql) in en mali mejl streznik (nimam pojma kateri)
te zadeve bi seveda laufale na svojem diskovnem polju.
aja, še tole. gledam OmniOs vs OpenIndiana. OmniOs ima zgleda samo tekst instaler in je brez desktop-a. tole me malo odbija, ker v konzoli nisem ravno doma. no, zanima me zahtevnost instalacije teh dveh OS-ov.
hvala
lp
gledal sem ESXi od VMWare-a ampak mi ne diši omejitev 32Gb rama. obstaja kaka cisto zastonj opcija? oziroma koliko pride, če kupiš za več rama verzijo. nevem al ne najdem, ali nimajo cen.
zraven tega bi na tem laufal se lokalni spletni streznik (Apache, mysql) in en mali mejl streznik (nimam pojma kateri)
te zadeve bi seveda laufale na svojem diskovnem polju.
aja, še tole. gledam OmniOs vs OpenIndiana. OmniOs ima zgleda samo tekst instaler in je brez desktop-a. tole me malo odbija, ker v konzoli nisem ravno doma. no, zanima me zahtevnost instalacije teh dveh OS-ov.
hvala
lp
Daedalus ::
Ena opcija je linux in KVM (kernel virtual machine). Druga je uporaba recimo VirtualBox, sam tu je treba načarat autostart virtualcev. ESXi pa ima omejitve... cene za manj omejene opcije pa se IIRC začnejo pri par sto €/mašino.
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
Baja ::
glede na ta link OI podpira KVM, verjetno tudi OmniOS, glede na to da je izpeljan iz Illumos-a.
Kernel-based Virtual Machine @ Wikipedia
edit: ja, tudi OO podpira, piše na prvi strani:)
Kernel-based Virtual Machine @ Wikipedia
edit: ja, tudi OO podpira, piše na prvi strani:)
Zgodovina sprememb…
- spremenil: Baja ()
d4vid ::
Mi lahko nekdo razloži razliko med SAN in NAS?
Main PC: Asus PN50 | AMD Ryzen 5 4500U | 16 GB RAM | 256 GB SSD
PC2: HP Z400 | Intel Xeon L5630 | 6 GB RAM | 120 GB SSD
Laptop: HP Elitebook 840G1 | Intel i5 | 8 GB RAM | 256 GB SSD
PC2: HP Z400 | Intel Xeon L5630 | 6 GB RAM | 120 GB SSD
Laptop: HP Elitebook 840G1 | Intel i5 | 8 GB RAM | 256 GB SSD
b3D_950 ::
Mi lahko nekdo razloži razliko med SAN in NAS?
Na kratko:
NAS (file-level) je primeren za file sharing (dela preko TCP/IP protokola).
SAN (block-level) je primeren za storage (dela preko Fibre Channela oz. iSCSI - preko TCP/IP).
http://www.techrepublic.com/blog/datace...
Zdaj ko je mir, jemo samo krompir.
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| » | Začetek projekta OpenZFS (strani: 1 2 3 )Oddelek: Novice / Znanost in tehnologija | 16285 (11474) | BaToCarx |
| » | NAS ali "domačo rešitev"?Oddelek: Kaj kupiti | 4645 (3746) | levaky |
| » | Pomoc pri sestavi streznika za shrambo, proxy in dnsOddelek: Kaj kupiti | 3171 (2735) | Daedalus |
| » | Poceni ESXi strežnik(izbira HWja)Oddelek: Strojna oprema | 2717 (2422) | levaky |
| » | Gradnja/sestava diskovnega polja (strani: 1 2 3 4 )Oddelek: Strojna oprema | 17691 (14023) | levaky |