Forum » Operacijski sistemi » OS za SAN
OS za SAN
darkolord ::
Razmišljam o graditvi enega SAN-a (8-16 diskov) in gledam, katere so trenutne opcije za OS.
Fino bi bilo, da:
- je relativno user friendly (web interface)
- je brezplačen.
- podpira vse taglavne protokole (iSCSI, ...)
- podpira Infiniband (ni nujno, ampak izgleda best bang for the buck za visoke hitrosti, 10gbit+ za par 10 eur)
FreeNAS izgleda precej zmogljiv (ZFS, uredu vmesnik), izgleda pa da ne podpira Inifinibanda.
Nexenta community edition je verjetno tudi OK, je pa free samo do 18 TB (podatkov? To bi sicer trajalo za nafilat, ampak ne bi rad, da me ta omejitev enkrat ujame s spuščenimi hlačami)
Windows Storage Server podpira precej zadev, bi pa verjetno moral uporabit HW raid (6?), kar je verjetno malo bolj nerodno, če se kasneje dodaja diske
Še kakšen predlog?
Fino bi bilo, da:
- je relativno user friendly (web interface)
- je brezplačen.
- podpira vse taglavne protokole (iSCSI, ...)
- podpira Infiniband (ni nujno, ampak izgleda best bang for the buck za visoke hitrosti, 10gbit+ za par 10 eur)
FreeNAS izgleda precej zmogljiv (ZFS, uredu vmesnik), izgleda pa da ne podpira Inifinibanda.
Nexenta community edition je verjetno tudi OK, je pa free samo do 18 TB (podatkov? To bi sicer trajalo za nafilat, ampak ne bi rad, da me ta omejitev enkrat ujame s spuščenimi hlačami)
Windows Storage Server podpira precej zadev, bi pa verjetno moral uporabit HW raid (6?), kar je verjetno malo bolj nerodno, če se kasneje dodaja diske
Še kakšen predlog?
- spremenilo: darkolord ()
levaky ::
Opensolaris/Solaris 11/illumos(fork NexentaCore) + nappit frontend.
SMB/NFS vgrajen v sam FS za razliko od freenas-a, ki lavfa sambo, podpora za AD,...
Grafično morda ni tako lep kot freenas, a je Gea sedaj začel delati tudi na samem izgledu. Osebno mi je manj kiča bolj všeč.
Podpisa SMB, NFS, iSCSI, AppleTalk,... Vsekakor bi šel z ZFS, saj mi, odkar sem ga odkril, s čim drugim živeti ni.
Trenutno pri meni lavfata 2 serverja z zfsjem, v prvem 8 diskov, v drugem samo 2. Performanci so špica(nekaj jih najdeš, če malo poiščeš po slo techu(storage server). Meni na večini sharov lavfa še compression pa se kaj veliko pri obremenitvi pcja ne pozna.
btw, solaris 11 je edini, ki podpira native zfs enkripcijo... OI in Illumos pa podpira z dodatnim software-om. Implementirana podpora je tudi v novem nappit-u.
lp, Matej
aja, ne vem kako je z infinniband, a verjetno ga podpira
SMB/NFS vgrajen v sam FS za razliko od freenas-a, ki lavfa sambo, podpora za AD,...
Grafično morda ni tako lep kot freenas, a je Gea sedaj začel delati tudi na samem izgledu. Osebno mi je manj kiča bolj všeč.
Podpisa SMB, NFS, iSCSI, AppleTalk,... Vsekakor bi šel z ZFS, saj mi, odkar sem ga odkril, s čim drugim živeti ni.
Trenutno pri meni lavfata 2 serverja z zfsjem, v prvem 8 diskov, v drugem samo 2. Performanci so špica(nekaj jih najdeš, če malo poiščeš po slo techu(storage server). Meni na večini sharov lavfa še compression pa se kaj veliko pri obremenitvi pcja ne pozna.
btw, solaris 11 je edini, ki podpira native zfs enkripcijo... OI in Illumos pa podpira z dodatnim software-om. Implementirana podpora je tudi v novem nappit-u.
lp, Matej
aja, ne vem kako je z infinniband, a verjetno ga podpira
Zgodovina sprememb…
- spremenil: levaky ()
Invictus ::
OpenNas, OpenFiler. OSa direktno za SAN, NAS.
"Life is hard; it's even harder when you're stupid."
http://goo.gl/2YuS2x
http://goo.gl/2YuS2x
levaky ::
Ko sem kako leto in pol nazaj preizkušal OpenFiler, sem imel z njim bolj slabe izkušnje. Stari paketi, precej bugasto je bilo vse, performance pa ni bil tako dober, kot sem pričakoval. Morda so se sedaj kaj popravili, tudi s hitrostjo odgovorov na forumu.
Kar mi je všeč pri ZFSju je to, da se vse nastavitve sharov nahajajo na filesystemu. V primeru, da crkne server, naložiš OpenIndiano oz solaris na drug pc, nastaviš mrežno, vklopiš in mountaš diske. Vsi shari in pravice v trenutku delajo.
Da sploh ne omenjam snapshotov, clonov in rollback datotek(ki dela tudi iz windowsev(file history)),copy-on-write,...
Jaz ti toplo svetujem, da vzameš nekaj, kar bazira na ZFSju...
Matej
Kar mi je všeč pri ZFSju je to, da se vse nastavitve sharov nahajajo na filesystemu. V primeru, da crkne server, naložiš OpenIndiano oz solaris na drug pc, nastaviš mrežno, vklopiš in mountaš diske. Vsi shari in pravice v trenutku delajo.
Da sploh ne omenjam snapshotov, clonov in rollback datotek(ki dela tudi iz windowsev(file history)),copy-on-write,...
Jaz ti toplo svetujem, da vzameš nekaj, kar bazira na ZFSju...
Matej
darkolord ::
Hvala lepa za predloge, bom malo preizkusil vse našteto (pa še kakšnega, če pride še kak predlog) v VMju in se potem odločil.
levaky: ti zadevo uporabljaš kot NAS (SMB, NFS, ...) ali SAN (iScsi, ...) ali kombinirano?
levaky: ti zadevo uporabljaš kot NAS (SMB, NFS, ...) ali SAN (iScsi, ...) ali kombinirano?
Zgodovina sprememb…
- spremenilo: darkolord ()
levaky ::
Vse, nekaj imam SMB sharov, nekaj NFS in nekaj iscsi.
Pri NFSju pazi, da izklopiš sync(najdeš v nappit-u pod ZFS Folders), sicer je pisanje grozno počasno. Za normalno hitrost z sync vklopljenim potrebuješ en SSD write cache.
iSCSI je pri meni dosegel najboljše hitrosti, če sem uporabljal file-based LUN-s. Po eni strani je tudi restore lažje delat.
Velja omeniti samo nekaj. V ZFSju lahko v pool-e dodajaš samo vdev-e. vdev je lahko raid1,radi0,raid5,... Se pravi imaš lahko pool(aka raid polje pri ne-zfs konfiguracijah) podatki, kjer ustvariš zfs folderje(aka particije", ki je vsaka svoj share. V pool pa lahko dodajaš samo kompletne vdev-e, se pravi kompletna raid polja, ne moreš, recimo, raid5-ki dodati samo 1 disk.
Ogromno o nappit rešitvi imaš napisanega na HardForum-u, kjer najdeš tudi pisca nappit-a(_Gea), ki vedno rad pomaga in dobiš odgovor v roku enega dne.
lp, Matej
Pri NFSju pazi, da izklopiš sync(najdeš v nappit-u pod ZFS Folders), sicer je pisanje grozno počasno. Za normalno hitrost z sync vklopljenim potrebuješ en SSD write cache.
iSCSI je pri meni dosegel najboljše hitrosti, če sem uporabljal file-based LUN-s. Po eni strani je tudi restore lažje delat.
Velja omeniti samo nekaj. V ZFSju lahko v pool-e dodajaš samo vdev-e. vdev je lahko raid1,radi0,raid5,... Se pravi imaš lahko pool(aka raid polje pri ne-zfs konfiguracijah) podatki, kjer ustvariš zfs folderje(aka particije", ki je vsaka svoj share. V pool pa lahko dodajaš samo kompletne vdev-e, se pravi kompletna raid polja, ne moreš, recimo, raid5-ki dodati samo 1 disk.
Ogromno o nappit rešitvi imaš napisanega na HardForum-u, kjer najdeš tudi pisca nappit-a(_Gea), ki vedno rad pomaga in dobiš odgovor v roku enega dne.
lp, Matej
Baja ::
da malo ugrabim tole temo.
v kratkem moram zgraditi en NAS v velikosti 10TB+. Zadeva bi morala biti tudi nadgradljiva v prihodnosti. Gre predvsem za arhiv video materiala. Zato razmišljam o nabavi naslednjega:
1.) 5*3TB v raidz1 > 12TB uporabnega prostora
2.) Računalnik za sistem
3.) openIndiana + napp-it
4.) sata kontroler za diske
zdaj pa vprašanja.
1.) Kakšno mašino naj nabavim, predvsem me zanima procesorska moč in količina rama? zadeva ne rabi biti ultra hitra, saj gre za arhiv.
2.) Ko bo zmanjkalo prostora, lahko enostavno nabavim še en kontroler in diske ter ustvarim nov raid (pool?) ?
3.) se kje dobijo ugodno rack mounti v katerega bi dobil vsaj 11 diskov (2*5 za raid + sistem)
4.) se da kasneje spreminjati vrsto raid polja ali je potrebno na novo konfigurirati vse. razmišljam v smeri, da bi v prihodnosti mogoče potreboval več prostora v kosu in bi ustavril raid iz recimo 10 diskov in takrat bi bilo verjetno smiselno uporabiti raidz2 - trenutno se nagibam k z1 za pet diskov.
5.) še ena bolj offtopic stvar. obstaja kaka cenovna ugodna rešitev za backup take količine podatkov? ker trenutno imam ene 12TB podatkov, v roku enega leta pa se bo ta količina vsaj podvojila.
hvala za odgovore, v tej vodah sem bolj nov.
lp
v kratkem moram zgraditi en NAS v velikosti 10TB+. Zadeva bi morala biti tudi nadgradljiva v prihodnosti. Gre predvsem za arhiv video materiala. Zato razmišljam o nabavi naslednjega:
1.) 5*3TB v raidz1 > 12TB uporabnega prostora
2.) Računalnik za sistem
3.) openIndiana + napp-it
4.) sata kontroler za diske
zdaj pa vprašanja.
1.) Kakšno mašino naj nabavim, predvsem me zanima procesorska moč in količina rama? zadeva ne rabi biti ultra hitra, saj gre za arhiv.
2.) Ko bo zmanjkalo prostora, lahko enostavno nabavim še en kontroler in diske ter ustvarim nov raid (pool?) ?
3.) se kje dobijo ugodno rack mounti v katerega bi dobil vsaj 11 diskov (2*5 za raid + sistem)
4.) se da kasneje spreminjati vrsto raid polja ali je potrebno na novo konfigurirati vse. razmišljam v smeri, da bi v prihodnosti mogoče potreboval več prostora v kosu in bi ustavril raid iz recimo 10 diskov in takrat bi bilo verjetno smiselno uporabiti raidz2 - trenutno se nagibam k z1 za pet diskov.
5.) še ena bolj offtopic stvar. obstaja kaka cenovna ugodna rešitev za backup take količine podatkov? ker trenutno imam ene 12TB podatkov, v roku enega leta pa se bo ta količina vsaj podvojila.
hvala za odgovore, v tej vodah sem bolj nov.
lp
pegasus ::
1. nekaj zanesljivega in hladnega, npr. kak e3-1220L z velio rama
2. ja, lahko razširiš obstoječ pool
3. supermicro (xenya)
4. kolikor vem še ne; nisem pa čisto na tekočem
5. odvisno kakšen backup: cloud ali kasete?
2. ja, lahko razširiš obstoječ pool
3. supermicro (xenya)
4. kolikor vem še ne; nisem pa čisto na tekočem
5. odvisno kakšen backup: cloud ali kasete?
Baja ::
hvala za odgovor. tale supermicro ohisja zgledajo carska, verjetno pa je tudi cena temu primerna.
kaksne pa so kaj minimalne zahteve za računalnik, da bi poganjalo za začetek 3*5 diskov v raidz1? stvar je namreč taka, da moram čimprej spraviti nekaj skupaj za čimmanj dnarja (ja,...).
če zdajle sestavim ene 12TB imam pol kako leto časa, da pomalem nabavim kakšen rack, eno zverino ki bo sposobna gnati tudi pol nadgradnje.
trenutno se nagibam k temu da vse skupaj sestavim v eno navadno ohišje, kasneje nabavim rack za recimo 24 al pa 36 diskov in premontiram tja. pol pa ko bo zmanjkovalo prostora nabavim diske in dodajam poole. če vsak mesec nabavim en disk (s tem mislim da se rezervirajo finance) imam čez leto 12 diskov, kar bi zneslo 30Tb v raidz2. kar bi moglo spet zadoščati za ene 2 leti.
kaksne pa so kaj minimalne zahteve za računalnik, da bi poganjalo za začetek 3*5 diskov v raidz1? stvar je namreč taka, da moram čimprej spraviti nekaj skupaj za čimmanj dnarja (ja,...).
če zdajle sestavim ene 12TB imam pol kako leto časa, da pomalem nabavim kakšen rack, eno zverino ki bo sposobna gnati tudi pol nadgradnje.
trenutno se nagibam k temu da vse skupaj sestavim v eno navadno ohišje, kasneje nabavim rack za recimo 24 al pa 36 diskov in premontiram tja. pol pa ko bo zmanjkovalo prostora nabavim diske in dodajam poole. če vsak mesec nabavim en disk (s tem mislim da se rezervirajo finance) imam čez leto 12 diskov, kar bi zneslo 30Tb v raidz2. kar bi moglo spet zadoščati za ene 2 leti.
pegasus ::
Minimalne? 64bit mašina, 4gb rama, 15 sata portov ;)
Pri večjem številu džabe diskov v pc škatli moraš paziti na eno malenkost in sicer njihov tok, ki ga potegnejo pri spinupu. Poskrbeti moraš, da napajalnik preživi vseh N diskov, ki se hkrati zavrtijo.
Pri lepših škatlah ti backplane v sodelovanju s kontrolerjem poskrbi za t.i. staggered spinup, kjer se štartata npr. po dva diska naenkrat. Traja dalj časa, a je bolj prijazno do napajalnika.
Pri večjem številu džabe diskov v pc škatli moraš paziti na eno malenkost in sicer njihov tok, ki ga potegnejo pri spinupu. Poskrbeti moraš, da napajalnik preživi vseh N diskov, ki se hkrati zavrtijo.
Pri lepših škatlah ti backplane v sodelovanju s kontrolerjem poskrbi za t.i. staggered spinup, kjer se štartata npr. po dva diska naenkrat. Traja dalj časa, a je bolj prijazno do napajalnika.
Baja ::
ok, kul, hvala. malo sem zatipko zgoraj. zaenkrat bo 1*5 diskov not. torej bi ena nova masina mogla laufati tole BP.
malo so me zmedal priporočila 1Gb rama na 1Tb podatkov, je pa to verjetno misljeno pri vecih uporabnikih in veliko prometa? pri nas sta max 2 uporabnika naekrat gor, dnevno pa se po mojih izracunih v povprečju zapiše/prebere par 10gb.
vsekakor pa je načrtu namensko rack ohišje, saj bo potreba po prostoru naraščala.
trenutno backup sploh ni urejen, verjetno pa bi bile bolj smiselne kasete za backup glede na količino podatkov?
lp
malo so me zmedal priporočila 1Gb rama na 1Tb podatkov, je pa to verjetno misljeno pri vecih uporabnikih in veliko prometa? pri nas sta max 2 uporabnika naekrat gor, dnevno pa se po mojih izracunih v povprečju zapiše/prebere par 10gb.
vsekakor pa je načrtu namensko rack ohišje, saj bo potreba po prostoru naraščala.
trenutno backup sploh ni urejen, verjetno pa bi bile bolj smiselne kasete za backup glede na količino podatkov?
lp
Dami ::
Tule si preberi napotke glede hardwara in vsega ostalega v zvezi z zfsjem.
Glede backupa bi pa svetoval da si zgradiš dve enaki mašini in jih maš lepo syncane.
Glede backupa bi pa svetoval da si zgradiš dve enaki mašini in jih maš lepo syncane.
Don't worry about me. The bleeding is just the begining of a healing process.
Spock83 ::
Baja ::
@dami: hvala za link, sem ze dodobra precesal napp-it.org, sam se mi še ni vse v glavo vsedlo. dve syncani masini bi ble super, ampak bi verjetno s kasetami prisel ceneje skozi, vsaj v prihodnosti, ker podatki se bodo mnozili in racunam da bomo v roku 5ih let potrebovali tam ene 50TB+ prostora.
@spock83: nikjer nisem zasledil cen (po pravici povedano se nisem niti prevec trudil zaenkrat z iskanjem), predpostavljam pa da pride taksno ohisje vsaj kakega jurja, ali?
drugi teden nabavim opremo za 12Tb, pol pa poročam.
še eno vprašanje. na netu sem bral da sta ljudem mrknila tudi po 2 diska v par ur razlike, bojda zaradi nabave diskov iz iste serije. bi blo smiselno nabavit diske v različnih trgovinah oz. se dogovoriti v neki trgovini da mi dobavijo diske, ki niso prisli glih po vrsti iz tovarne. kaj pravite?
ja, še to, saj vem da kličem nesrečo, sam me vseeno zanima okvirno koliko časa traja rebuild 10TB podatkov? je odvisno od masine, hitrosti diskov, ...?
še enkrat hvala za vse info
lp
@spock83: nikjer nisem zasledil cen (po pravici povedano se nisem niti prevec trudil zaenkrat z iskanjem), predpostavljam pa da pride taksno ohisje vsaj kakega jurja, ali?
drugi teden nabavim opremo za 12Tb, pol pa poročam.
še eno vprašanje. na netu sem bral da sta ljudem mrknila tudi po 2 diska v par ur razlike, bojda zaradi nabave diskov iz iste serije. bi blo smiselno nabavit diske v različnih trgovinah oz. se dogovoriti v neki trgovini da mi dobavijo diske, ki niso prisli glih po vrsti iz tovarne. kaj pravite?
ja, še to, saj vem da kličem nesrečo, sam me vseeno zanima okvirno koliko časa traja rebuild 10TB podatkov? je odvisno od masine, hitrosti diskov, ...?
še enkrat hvala za vse info
lp
Zgodovina sprememb…
- spremenil: Baja ()
d4vid ::
Če ne veste, kakor tudi nisem vedel jaz, neka firma je leta 2009 kupilča FreeNAS in nadaljuje njegov razvoj (ampak deluje samo na PCjih z več kot 1GB rama). Tako sem zadnjič po googlanju odkrijem, da prvotni programeji delajo na nečem drugem - NAS4FREE. Nisem še poskusil, ampak bom kmalu (nimam CDjev 
). Tako, da poglejte še malo to.
). Tako, da poglejte še malo to. Main PC: Asus PN50 | AMD Ryzen 5 4500U | 16 GB RAM | 256 GB SSD
PC2: HP Z400 | Intel Xeon L5630 | 6 GB RAM | 120 GB SSD
Laptop: HP Elitebook 840G1 | Intel i5 | 8 GB RAM | 256 GB SSD
PC2: HP Z400 | Intel Xeon L5630 | 6 GB RAM | 120 GB SSD
Laptop: HP Elitebook 840G1 | Intel i5 | 8 GB RAM | 256 GB SSD
pegasus ::
Ja, diskov iz iste serije se izogibaj. Doma imam na kupu znošene iz vseh vetrov, nikoli v istem mirrorju dva enaka.
Hitrost rebuilda pa je predvsem odvisna od hitrosti diskov. Linuxov sw raid je danes že tako inteligenten, da ve, kateri deli diska v arrayu niso usklajeni in zna posyncati samo njih (t.i. intent log), kar ti v primeru crasa zna prišparati ogromno časa (in živcev).
Hitrost rebuilda pa je predvsem odvisna od hitrosti diskov. Linuxov sw raid je danes že tako inteligenten, da ve, kateri deli diska v arrayu niso usklajeni in zna posyncati samo njih (t.i. intent log), kar ti v primeru crasa zna prišparati ogromno časa (in živcev).
Baja ::
torej bi bilo pametno nabaviti diske različnih proizvajalcev ali naj nabavim istega proizvajalca, ampak ne iz iste serije?
kako se kaj pozna performance ce so različni proizvajalci / karateristike? tolk za info, kot sem napisal je meni bolj pomembna količina.
kako se kaj pozna performance ce so različni proizvajalci / karateristike? tolk za info, kot sem napisal je meni bolj pomembna količina.
pegasus ::
Dokler si v budget segmentu, so ti mešani diski popolnoma smiselna izbira. Kupiš si dejstvo, da zaradi istega proizvajalčevega problema ne boš izgubil več kot enega diska naenkrat, za ceno, da so performanse takega miksa tudi precej nepredvidljive. A za budget setup verjetno dovolj dobre.
Ko greš v bolj highend storage, imaš diske s custom firmwarei, dvojnim ožičenjem in petkratno ceno za mogoče 20% boljše zmogljivosti. Plačaš predvsem builtin diagnostic in to, da se tip z rezervnimi deli pojavi na tvojih vratih še preden ti veš, da je karkoli narobe. Ker podatki so nekaj vredni.
Ko greš v bolj highend storage, imaš diske s custom firmwarei, dvojnim ožičenjem in petkratno ceno za mogoče 20% boljše zmogljivosti. Plačaš predvsem builtin diagnostic in to, da se tip z rezervnimi deli pojavi na tvojih vratih še preden ti veš, da je karkoli narobe. Ker podatki so nekaj vredni.
darkolord ::
in to, da se tip z rezervnimi deli pojavi na tvojih vratih še preden ti veš, da je karkoli narobe.... ki pa tu in tam vseeno reče "nau šlo, restore iz backupa naredite"
Zgodovina sprememb…
- spremenilo: darkolord ()
levaky ::
Jaz bi se držal Dami-jevega linka.
Plata: Supermicro x9scm-f
Proc: Intel Xeon E3-1230V2
Ram: Kingstom ValueRAM 16GB ECC
Ohišje: Norco 2442 (http://www.norcotek.com/item_detail.php...
Kontroler: IBM 1015 ali LSI 9211-8i, oboje flešano z IT firmwarom
En dober napajalnik
To je trenutno najboljši price/performance razmerje. Glede OSa bi verjetno izbral OpenIndiano + nappit. Ne vem kakšno je stanje z NAS4FREE, ampak nekako imam rajši OIjev buildin SMB support in nastavljanje pravic.
Nekaj takega imam trenutno v "košarici", stara zadeva pa teče na i3 procu in neki ASUS plati, ohišje in kontrolerji pa so isti. Zadeva DELA!
Matej
Plata: Supermicro x9scm-f
Proc: Intel Xeon E3-1230V2
Ram: Kingstom ValueRAM 16GB ECC
Ohišje: Norco 2442 (http://www.norcotek.com/item_detail.php...
Kontroler: IBM 1015 ali LSI 9211-8i, oboje flešano z IT firmwarom
En dober napajalnik
To je trenutno najboljši price/performance razmerje. Glede OSa bi verjetno izbral OpenIndiano + nappit. Ne vem kakšno je stanje z NAS4FREE, ampak nekako imam rajši OIjev buildin SMB support in nastavljanje pravic.
Nekaj takega imam trenutno v "košarici", stara zadeva pa teče na i3 procu in neki ASUS plati, ohišje in kontrolerji pa so isti. Zadeva DELA!
Matej
Spock83 ::
@Baja. Res da so zadeve mogoče na začetku drage. Samo imaš mir do konca življenja. Ohišje (pa mislim da je tam okoli 1k eur) je npr zelo kvalitetno narejeno kot tudi napajalniki, ki so redudantni, ventilatorji, ki naj bi zdržali do 8 let... To je enkratni strošek.
Jaz na svojega SC743 sedem in šeraufam. :D
Jaz na svojega SC743 sedem in šeraufam. :D
Baja ::
ja, kvalitetno ohisje se splača nabaviti in če bi bilo po moje bi ga nabavil takoj, samo ko šefu povem da bom kupil prazno ohišje za 1k €, morem meti 10m prednosti 
zdaj ga masiram, da se v bodoče rezervira ene 200e na mesec za data server, kar znese 2,4k € na leto. s tem bi si drugo leto takega časa lahko privoščili ohišje, pošteno plato, pa še za kak disk bi verjetno ostalo.
lp
zdaj ga masiram, da se v bodoče rezervira ene 200e na mesec za data server, kar znese 2,4k € na leto. s tem bi si drugo leto takega časa lahko privoščili ohišje, pošteno plato, pa še za kak disk bi verjetno ostalo.
lp
levaky ::
Na žalost je tako z rackmount ohišji. Najcenejše je Norco, a je tudi kvaliteta v primerjavi z Supermicro slabša. Meni sicer popolnoma dobro služi, le ene 2 ali 3 ledici ne delata, ampak tudi to bi mi backplane zamenjali, pa se mi ne da razstavljati ohišje.
Tole je trenutno najceneje: https://ri-vier.eu/4u-server-case-w-24-...
S tem da pride brez napajalnika. Redundančni napajalnik stane dodatnih 250€.
Če res ni denarja pa rabiš ohišje z čimveč diski, potem tole tudi ni slaba izbira: http://www.fractal-design.com/?view=pro...
Matej
Tole je trenutno najceneje: https://ri-vier.eu/4u-server-case-w-24-...
S tem da pride brez napajalnika. Redundančni napajalnik stane dodatnih 250€.
Če res ni denarja pa rabiš ohišje z čimveč diski, potem tole tudi ni slaba izbira: http://www.fractal-design.com/?view=pro...
Matej
Dami ::
Recimo za primerjavo. Jaz mam tistega 4224. Potem sem vzel panel za 120mm vente (+ venti sami) namesto 5x80mm. Rabiš še raile ter dober napajalc (sem vzel seasonic 860 platinum, drago pa še reduntant ni). Poleg tega majo nove SM kište še 2x2.5" hotswap zadaj. Jaz sem moral malo modificirati in improvizirati (pač rabim še par slotov za ssdje poleg 24 bayev). Pa o kritikah kako norco backplani crkujejo in kurijo diske ne bi začel sploh. Nisem še zalaufal mašine tako da ne vem ali dela ali ne, vendar če bi še enkrat kupoval bi verjetno vzel SM.
Don't worry about me. The bleeding is just the begining of a healing process.
levaky ::
Tista scena o "kurijo diske" stoji na mal mehkih tleh. No, vsaj meni se tako zdi...
Kakorkoli, zaenkrat imam srečo in "tastar" norko ohišje, ki ima še plac za 2x2,5" diske na vrhu, tako da sem lahko še sistemske diske zmontiral brez problema... Notri imam pa en dokaj običen, a malo boljši napajalnik(mislim da Enermaxa).
MAtej
Kakorkoli, zaenkrat imam srečo in "tastar" norko ohišje, ki ima še plac za 2x2,5" diske na vrhu, tako da sem lahko še sistemske diske zmontiral brez problema... Notri imam pa en dokaj običen, a malo boljši napajalnik(mislim da Enermaxa).
MAtej
Baja ::
po mesecu dni končno končan seznam :)
- supermicro X8DTi-F
- 2x xeon e5506
- 32Gb ecc reg ddr3
- LSI SAS 9211-8i HBA
- 6x 3Tb 7200rpm
- 1kW napajalnik
tole bom za zacetek spakiral v eno gigabytovo gamersko ohisje. upam da se bo lepo razumelo z openindiano in napp-it
morem pa rečti da sem se kar namučil da sem dobil ploščo pa kontroler po (upam) ugodni ceni. a je kdo v sloveniji ki dobavlja SM, razen mlacoma? sem pisal "dobivateljem" za slovenijo, navedenim na supremicrovi strani pa sem dobil odgovor da oni tega ne dobavljajo:)
lp
- supermicro X8DTi-F
- 2x xeon e5506
- 32Gb ecc reg ddr3
- LSI SAS 9211-8i HBA
- 6x 3Tb 7200rpm
- 1kW napajalnik
tole bom za zacetek spakiral v eno gigabytovo gamersko ohisje. upam da se bo lepo razumelo z openindiano in napp-it
morem pa rečti da sem se kar namučil da sem dobil ploščo pa kontroler po (upam) ugodni ceni. a je kdo v sloveniji ki dobavlja SM, razen mlacoma? sem pisal "dobivateljem" za slovenijo, navedenim na supremicrovi strani pa sem dobil odgovor da oni tega ne dobavljajo:)
lp
levaky ::
Jaz sploh nebi gledal Slovenije. Nemčija all the way! Ni primerjave v cenah. Že najbolj osnovna SM plata je akih 50€ ceneje od mlacoma.
Kar se tiče OpenIndiane, odloči se raje za OmniOS. OpenIndiana je trenutno rahlo "dead" kar se razvoja tiče in Gea pravi, da bo sedaj uradno podprt tudi OmniOS in da predivdeva, da bo v prihodnosti uradno podprt samo še OmniOS. Trenutno zgleda, da bo tukaj še največ razvoja.
Matej
Kar se tiče OpenIndiane, odloči se raje za OmniOS. OpenIndiana je trenutno rahlo "dead" kar se razvoja tiče in Gea pravi, da bo sedaj uradno podprt tudi OmniOS in da predivdeva, da bo v prihodnosti uradno podprt samo še OmniOS. Trenutno zgleda, da bo tukaj še največ razvoja.
Matej
l0g1t3ch ::
@levaky
Zakaj uporabiti OmniOS, OpenIndiana ali Napp-it namesto NexentaStore ? Slednji se mi zdi daleč najbolj kompleten in živ projekt.
Zakaj uporabiti OmniOS, OpenIndiana ali Napp-it namesto NexentaStore ? Slednji se mi zdi daleč najbolj kompleten in živ projekt.
levaky ::
nexentastor ni brezplačna oz. ima free verzija omejitvev 18TB. Če tega ne misliš presežt ok, ampak zadnje čase si hitro čez.
Matej
Matej
levaky ::
Zna biti... Nisem nikoli testiral, ker mi OI + nappit več kot odlično služita. Pa še dober support imaš od Gea-e na HardForum-u.
Matej
Matej
Baja ::
sem nabavil plato in kontroler v belgiji.
bom pogledal se omniOS, hvala za info
sem na zacetku gledal tudi NexentaStore, vendar mi 18Tb ne bo zadosti. v par letih racunam da bom v eno ohisje iz te serije spravil tam od 70-100Tb. ker gre na kontroler 8 diskov sem razmisljal o 4x8 v zfs2.
no, zdaj ko pa cakam na dostavo, pa malo manualov studirat :)
@sammy73: zaenkrat se nisem nic raziskoval v smeri tračnega backupa, bom pa vsekakor poročal/vprasal tule.
lp
bom pogledal se omniOS, hvala za info
sem na zacetku gledal tudi NexentaStore, vendar mi 18Tb ne bo zadosti. v par letih racunam da bom v eno ohisje iz te serije spravil tam od 70-100Tb. ker gre na kontroler 8 diskov sem razmisljal o 4x8 v zfs2.
no, zdaj ko pa cakam na dostavo, pa malo manualov studirat :)
@sammy73: zaenkrat se nisem nic raziskoval v smeri tračnega backupa, bom pa vsekakor poročal/vprasal tule.
lp
levaky ::
Glede idealnega števila diskov v posameznih raidih imaš tudi na netu nekaj napisanega. Mislim, da je za RAID6 kombinacija 8+2 idealna, al nekaj takega...
Pa ko boš dajal v RAID polja, jih probaj dati tako, da so diski razmetani po čimveč kontrolerjih, tako da zgubiš čimmanj diskov, če ti odleti kontroler.
Pa ko boš dajal v RAID polja, jih probaj dati tako, da so diski razmetani po čimveč kontrolerjih, tako da zgubiš čimmanj diskov, če ti odleti kontroler.
Daedalus ::
Še kakšen predlog?
Kot nekdo, ki mu je OI "backend" za Baculo crknil pred nekaj časa (šla plata)... uporabi nekaj, kar znaš zdebagirati, ko so težave. Meni OI ni uspelo zbuditi na drugem HW-ju (na srečo ni bilo nič hudo kritičnega), pa sem se odločil za spremembo backup rešitve v taki, ki jo lahko hitro spravim skupaj na drugem HW-ju, če je za to potreba. Nočeš meti mrtvega SAN-a in nobene ideje, kako spravit stvar nazaj v delujoče stanje.
Pa malo večje RAID6 polje je fucking PITA, ko dela rebuild. Ena ne tako uboga Areca je na aktivni mašini rabila 2 dni, da je resyncala skup polje iz 7 1TB diskov. I/O performance ta čas, je bil pa na meji uporabnega, kdaj pa tudi to ne.
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
levaky ::
Če ni skrivnost, kje je bil problem iz kaj je bil problem? Sam sem imel podobno sranje, pa moram reči, da lažjega restora še ni bilo.
Inštaliral OI, vtaknil notri diske, ZFS import in smo že leteli dalje. Dobrih 15 minut.
Matej
Inštaliral OI, vtaknil notri diske, ZFS import in smo že leteli dalje. Dobrih 15 minut.
Matej
Baja ::
ja, sem neki bral o številu diskov po posameznih raidih. 8+2 bo kar drzalo.
kar se razmetavanje po kontrolerjih tice, zaenkrat ne pride v postev, ker bom mel samo enega. ce sem prav prebral, so dejansko vsi podatki o raid-u zapisani na samih diskih, tako da ce mrkne kontroler/masina, ni nekih problemov? mislim da sem nekje celo bral da na drug hw instaliras OI+napp-it, priklopis nazaj diske in je v grobem to to.
hmm, ce bi hotel obdrzati raid kljub enemu odpovedanemu kontrolerju pol bi moral meti ne več kot 2 diska iz enega raida (zfs2) na enem kontrolerju. pri 8ih diskih (6+2) znese to 4 kontrolerje. ce prav razmisljam. heh, tole razmetavanje mi ni niti padlo na pamet, pravzaprav sem mislil narediti ravno obratno :) sicer pa je logično. hvala. ko pa bo ohisje polno pa bi dejansko to lahko izvedel. 4je kontrolerji, 4je raidi po 8 diskov, 8/4=2.
edit: Daedalus je verjetno hotel zbuditi obstoječo OI instalacijo na drugem HW, kolikor razumem.
kar se razmetavanje po kontrolerjih tice, zaenkrat ne pride v postev, ker bom mel samo enega. ce sem prav prebral, so dejansko vsi podatki o raid-u zapisani na samih diskih, tako da ce mrkne kontroler/masina, ni nekih problemov? mislim da sem nekje celo bral da na drug hw instaliras OI+napp-it, priklopis nazaj diske in je v grobem to to.
hmm, ce bi hotel obdrzati raid kljub enemu odpovedanemu kontrolerju pol bi moral meti ne več kot 2 diska iz enega raida (zfs2) na enem kontrolerju. pri 8ih diskih (6+2) znese to 4 kontrolerje. ce prav razmisljam. heh, tole razmetavanje mi ni niti padlo na pamet, pravzaprav sem mislil narediti ravno obratno :) sicer pa je logično. hvala. ko pa bo ohisje polno pa bi dejansko to lahko izvedel. 4je kontrolerji, 4je raidi po 8 diskov, 8/4=2.
edit: Daedalus je verjetno hotel zbuditi obstoječo OI instalacijo na drugem HW, kolikor razumem.
Zgodovina sprememb…
- spremenil: Baja ()
l0g1t3ch ::
Kako pa se obnese RaidZ ?
Če prav razumem za tega rabiš samo kak preprost jbod kontroler oz. priklopiš diske kar na sata porte na matični in stvar more letet in imaš ekvivalent raid 5 ali raid 6 polju.
Dobri raid 5 ali 6 kontrolerji stanejo nekaj 100€ in če ti crkne je še jeba, ker rabiš pol dobit istega, da bo stvar za sigurno delala.
Če prav razumem za tega rabiš samo kak preprost jbod kontroler oz. priklopiš diske kar na sata porte na matični in stvar more letet in imaš ekvivalent raid 5 ali raid 6 polju.
Dobri raid 5 ali 6 kontrolerji stanejo nekaj 100€ in če ti crkne je še jeba, ker rabiš pol dobit istega, da bo stvar za sigurno delala.
levaky ::
logitech: točno tako...
RaidZ se obnese. Vsaj so-far. Trenutni mi teče na kakih petih serverjih, povsod brez problema...
RaidZ se obnese. Vsaj so-far. Trenutni mi teče na kakih petih serverjih, povsod brez problema...
Daedalus ::
Če ni skrivnost, kje je bil problem iz kaj je bil problem? Sam sem imel podobno sranje, pa moram reči, da lažjega restora še ni bilo.
Reinstall se mi je zdel preveč zamuden, hudič se pa na drugačnem HW-ju (kljub poskusom rekonfiguracije oziroma reseta configa) ni hotel zbudit. Pol sem se pa odločil, da je overkill vse skup in šal na rsync server/client.
Kako pa se obnese RaidZ ?
Če prav razumem za tega rabiš samo kak preprost jbod kontroler oz. priklopiš diske kar na sata porte na matični in stvar more letet in imaš ekvivalent raid 5 ali raid 6 polju.
Tako je. Pa performančno potolče cenejše HW raid kontrolerje (pod cenejše smatram one do ~1k€, z dražjimi še nisem delal).
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
Dami ::
po mesecu dni končno končan seznam :)
- supermicro X8DTi-F
- 2x xeon e5506
- 32Gb ecc reg ddr3
- LSI SAS 9211-8i HBA
- 6x 3Tb 7200rpm
- 1kW napajalnik
Zakaj si pa vzel socket 1366? Razen če si plato in proc dobil skoraj zastojn, ne vidim poante da bi kupoval 5 leta star hardware. Glede na to da planiraš mnogo TB diskovja se kar pripravi, da boš nabavljal rama. Jaz bi vzel kar 16gb sticke. LSI 9211-8i kontroler je načeloma brezveze, kr dobiš ibm m1015 mnogo ceneje, če bi pa že hotel LSI vzameš pol novejše 9207 kontrolerje.
Za OS je pa že matej povedal da se trendi selijo na OmniOS. Jaz mam OI+nappit postavlen kak mesec in dela vse super, vendar bom prešaltal takoj k da Gea en stable in easy setup ven.
Don't worry about me. The bleeding is just the begining of a healing process.
Baja ::
ja, za ram vem, mam plan nadgrajevati sproti z diski. palčke so 16gb.
kar se tiče 1366 še sam nevem :) zgleda da sem se malo preveč držal napisanega na napp-it.org (x8...-f). do ponedejka se imam cas kaj spremeniti. pol bi bilo boljse vzeti kaj iz x9 serije, verjetno lga2011?
grem se malo brskat:)
hvala in lp
kar se tiče 1366 še sam nevem :) zgleda da sem se malo preveč držal napisanega na napp-it.org (x8...-f). do ponedejka se imam cas kaj spremeniti. pol bi bilo boljse vzeti kaj iz x9 serije, verjetno lga2011?
grem se malo brskat:)
hvala in lp
l0g1t3ch ::
A obstaja kaka rešitev za pokrivanje velikih write burstov ?
Nekaj takega, da bi šli vsi write zahtevki prvo na hiter SLC ssd velikosti 64GB, potem v ozadju pa na HDD. Nekaj podobnega kot je write back na pravih hw raid kontrolerjih, ko se podatki dejansko samo zapišejo v ram cache na kontrolerju potem pa kontroler ko ima čas to zapiše na disk.
Nekaj takega, da bi šli vsi write zahtevki prvo na hiter SLC ssd velikosti 64GB, potem v ozadju pa na HDD. Nekaj podobnega kot je write back na pravih hw raid kontrolerjih, ko se podatki dejansko samo zapišejo v ram cache na kontrolerju potem pa kontroler ko ima čas to zapiše na disk.
Zgodovina sprememb…
- spremenilo: l0g1t3ch ()
darkolord ::
Kar se tiče OpenIndiane, odloči se raje za OmniOS. OpenIndiana je trenutno rahlo "dead" kar se razvoja tiče in Gea pravi, da bo sedaj uradno podprt tudi OmniOS in da predivdeva, da bo v prihodnosti uradno podprt samo še OmniOS. Trenutno zgleda, da bo tukaj še največ razvoja.Ajej, to je IMO ena največjih slabosti teh free/open zadev - en dan pač postane "rahlo dead", potem si pa mimogrede mrzel, ker se vsi od tega oddaljijo... Kot da je OS menjat tko kot gate...
Daedalus ::
A obstaja kaka rešitev za pokrivanje velikih write burstov ?
Nekaj takega, da bi šli vsi write zahtevki prvo na hiter SLC ssd velikosti 64GB, potem v ozadju pa na HDD. Nekaj podobnega kot je write back na pravih hw raid kontrolerjih, ko se podatki dejansko samo zapišejo v ram cache na kontrolerju potem pa kontroler ko ima čas to zapiše na disk.
IIRC tole podpisa ZFS. Sam ne vem, al za RW al samo za R...
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
pegasus ::
Storage ... vzameš dva najcenejša e5 xeona, plato z dovolj pcie sloti in prostora za ram. Če boš delal sw raid (raid z), vzameš jbod kartice, nisem na tekočem, katere so aktualne (verjento kak lsi 9201-16). Če boš delal hw raid, vzameš lsi 9280 za do 24 diskov, ki ima opcijo cachinga na ssd in preverjeno zmore do 3GB/s burste in 1GB/s sustained write. Testiral sem v konfiguraciji 8+1 raid5 s 128k stripei, write size 1MB (ker ima moja aplikacija tako io obnašanje). 4U škatla z 48 diski in dvema takima karticama (ali 3x 16 portne) je ravno pravšnja gostota, če ne rabiš toliko perfomanc, lahko vzameš eno samo kartico in uporabiš sas expanderje, recimo 3 diske na en sas port. Celoto potem povežeš v svet recimo z 2x 10GigE ali infinibandom.
A obstaja kaka rešitev za pokrivanje velikih write burstov ?Ja, LSI 92xx serija ima doplačljivo opcijo "CacheCade", kjer na kontroler vtakneš en ali dva ssdja, ki se obnašata kot cache za cel array.
Zgodovina sprememb…
- spremenil: pegasus ()
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| » | Začetek projekta OpenZFS (strani: 1 2 3 )Oddelek: Novice / Znanost in tehnologija | 16282 (11471) | BaToCarx |
| » | NAS ali "domačo rešitev"?Oddelek: Kaj kupiti | 4645 (3746) | levaky |
| » | Pomoc pri sestavi streznika za shrambo, proxy in dnsOddelek: Kaj kupiti | 3171 (2735) | Daedalus |
| » | Poceni ESXi strežnik(izbira HWja)Oddelek: Strojna oprema | 2717 (2422) | levaky |
| » | Gradnja/sestava diskovnega polja (strani: 1 2 3 4 )Oddelek: Strojna oprema | 17690 (14022) | levaky |