Forum » Strojna oprema » Gradnja/sestava diskovnega polja
Gradnja/sestava diskovnega polja
levaky ::
Če vklopim compression, se seq performance močno poveča, seveda v škodo obremenjenosti CPUja....
Rezultati bonnie++:
- Seq write: 500MB/s (CPU 56%)
- Seq rewrite: 350MB/s (CPU 50%)
- Per Character write: 88MB/s (CPU 89%)
- Seq read: 913MB/a (CPU 44%)
- Per Character read: 90MB/s (CPU 95%)
- Random seeks: 10000/s
Kakorliko, glede na to, da imam v serverju samo 2x1Gbps mrežni, so že prejšnji rezultati več kot dovolj, je pa vseeno lepo videti, česa je zadeva zmožna...
Rezultati bonnie++:
- Seq write: 500MB/s (CPU 56%)
- Seq rewrite: 350MB/s (CPU 50%)
- Per Character write: 88MB/s (CPU 89%)
- Seq read: 913MB/a (CPU 44%)
- Per Character read: 90MB/s (CPU 95%)
- Random seeks: 10000/s
Kakorliko, glede na to, da imam v serverju samo 2x1Gbps mrežni, so že prejšnji rezultati več kot dovolj, je pa vseeno lepo videti, česa je zadeva zmožna...
Daedalus ::
Danes sem namestil SE11, predvsem z namenom, da se še enkrat lotim testiranja iSCSIja in sambe, ter naredim kak benchmark... Samba je delovala podobno kot prejšnjič s prenosi med 70 in 80MB/s, medtem ko se je iSCSI odrezal veliko slabše... Prenosi so bili okoli 25MB/s, prav tako pa je load average na ZFS serverju narastel na 8... Povezal sem ZFS server in Win7 RTM.
Tole ziher ne bo ok - ISCSI bi mogo biti hitrejši od Sambe. Kako si to testiral? Sekvečni/random write/read?
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
levaky ::
Sem še enkrat poizkusil in sedaj zadeve letijo... Sem pa opazil, da je mreža bottleneck.
Kje na mreži je problem, moram pa še ugotoviti, ampak trenutno več kot 650MBit/s ne spravim skozi. Ali je možno furati 1Gbps brez jumbo framov?
Trenutno se samo še odločam, ali rabim SE 11 in njegov time slice al kaj je že, al mi je dovolj OpenIndiana(ki mi bolj ustreza, kar je free). Če prav razumem, ko naredim snapshot v ZFSju, mi sistem ustvari mapo .zfs in notri snema snapshote... Ali lahko tam pobrskam za kakšno datoteko in jo preprosto prenesem v glavno mapo in tako restoram file?
Matej
Kje na mreži je problem, moram pa še ugotoviti, ampak trenutno več kot 650MBit/s ne spravim skozi. Ali je možno furati 1Gbps brez jumbo framov?
Trenutno se samo še odločam, ali rabim SE 11 in njegov time slice al kaj je že, al mi je dovolj OpenIndiana(ki mi bolj ustreza, kar je free). Če prav razumem, ko naredim snapshot v ZFSju, mi sistem ustvari mapo .zfs in notri snema snapshote... Ali lahko tam pobrskam za kakšno datoteko in jo preprosto prenesem v glavno mapo in tako restoram file?
Matej
Zgodovina sprememb…
- spremenil: levaky ()
Daedalus ::
Ali je možno furati 1Gbps brez jumbo framov?
Jap.
Ali lahko tam pobrskam za kakšno datoteko in jo preprosto prenesem v glavno mapo in tako restoram file?
IIRC se snapshote mounta in brska po njih kot po normalnem fs-ju. Lahko jih pa tud med računali premetavaš z zfs send/zfs receive ukazov.
Malo dodatnega branja
Btw, Solaris ima nadvse kul pristop k "bondanju" mrežnih (link aggregation) - poglej si ukaz dladm. Lahko dve (ali več) mrežnih uporabiš kot en logičen interfejs in s tem ~podvojiš pasovno širino.
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
Zgodovina sprememb…
- spremenilo: Daedalus ()
levaky ::
Za snapshote sem tudi sam uspel zbrskati podatke kako restorat... Zdej malo bolj razumem princip snapshotov in mi je prov všeč. Vse snapshote imaš v .zfs folderju v vsakem ZFS folderju(fsju). Če do cifs shara dostopaš iz windowsev, imaš pa tako ali tako desn klik-properties-history in tam restoraš...
Tistle best practice sem pa že prebral, pa ga bom verjetno še ene dvakrat, če sem kaj izpustil:)
Glede tuninga si moram prebrati še omenjena howtoja:
Evil tuning guide
Ten ways to improve performance
Tole glede bondanja si bom pa tudi malo pogledal, čeprav zaenkrat ne rabim bondajna, ampak mi pa zna prov proti v prihodnosti.
Danes bom dal nazaj OpenIndiano, saj sem SE11 naložil samo zaradi time slide-a, ampak sem sedaj videl, da ga v bistvu niti ne potrebujem na NAS mašini... Vseeno pa bom naložil tudi grafični vmesnik, just in case:)
Danes so bili plačani kontrolerji, tko da bi morali prispeti do petka, potem pa sledi dokončno sestavljanje računalnika. JUHEJ!
Me je tale ZFS čisto navdušil:) Škoda edino, da solaris ne podpira Root-On-ZFS kot to podpira guruZFS v FreeBSDju.
lp, Matej
Tistle best practice sem pa že prebral, pa ga bom verjetno še ene dvakrat, če sem kaj izpustil:)
Glede tuninga si moram prebrati še omenjena howtoja:
Evil tuning guide
Ten ways to improve performance
Tole glede bondanja si bom pa tudi malo pogledal, čeprav zaenkrat ne rabim bondajna, ampak mi pa zna prov proti v prihodnosti.
Danes bom dal nazaj OpenIndiano, saj sem SE11 naložil samo zaradi time slide-a, ampak sem sedaj videl, da ga v bistvu niti ne potrebujem na NAS mašini... Vseeno pa bom naložil tudi grafični vmesnik, just in case:)
Danes so bili plačani kontrolerji, tko da bi morali prispeti do petka, potem pa sledi dokončno sestavljanje računalnika. JUHEJ!
Me je tale ZFS čisto navdušil:) Škoda edino, da solaris ne podpira Root-On-ZFS kot to podpira guruZFS v FreeBSDju.
lp, Matej
Zgodovina sprememb…
- spremenil: levaky ()
Daedalus ::
Evil tunning guide je ok, v večini primerov pa si boš verjetno želel malo omejiti prefetch, pa zfs cache, sploh če ma kišta malo manj rama. Ostalo nima nekega hudega vpliva.
Pa ko boš testiral, bodi pozoren na razliko med data I/O na nivoju zfs-ja in na dejanski I/O (recimo read na iscsi disku). Če preveč odstopa v "prid" zfs-ju, je prefetch preveč agresiven in samo na veliko turira diske, ne vlovi pa podatkov, ki jih dejansko zahtevaš. Pa preberi si tale in ostale blog poste na tem blogu. Tip raztura in je objavil veliko koristnega na temo Solaris/ZFS.
Pa ko boš testiral, bodi pozoren na razliko med data I/O na nivoju zfs-ja in na dejanski I/O (recimo read na iscsi disku). Če preveč odstopa v "prid" zfs-ju, je prefetch preveč agresiven in samo na veliko turira diske, ne vlovi pa podatkov, ki jih dejansko zahtevaš. Pa preberi si tale in ostale blog poste na tem blogu. Tip raztura in je objavil veliko koristnega na temo Solaris/ZFS.
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
levaky ::
Za cache sem si naročil še dodatnih 4GB rama, tako da bom imel 8GB, kar bi moralo biti dovolj za začetek... Morda v prihodnosti dodam še en SSD za read cache za pool, kjer bodo maili in web strani(ostali pooli bodo hostali po večini dokumente in video datoteke in tam ne bo veliko random seekov in branja),
Če bo kdo kdaj rabil HOWTO, kako postavit ZFS mirror v solarisu/openindiani, ga lahko najde Constantinovem blogu.
kogledom: tvoj link zgleda že malo star, ker po novem(vsaj meni) se solaris že po defaultu inštalira na ZFS, tako da je potrebno samo na drugem disku narediti particije, instalirat grub in attachat disk v pool in je zadeva v mirrorju.
Trenutno še čakam odgovor na HF o tem, ali narediti filebased iscsi target ali zvol. Pri prvem ne vem, kako zgledajo snapshoti. ČE imam 10GB velik file in naredim snapshot, kako bo zgledalo, ko zapišem dodatnih 10MB v tisto datoteko. Ali bo v snapshot premaknil celotnih 10GB ali si bo zabeležil samo razliko v blokih, kot to počne pri zvol.
lp, Matej
Če bo kdo kdaj rabil HOWTO, kako postavit ZFS mirror v solarisu/openindiani, ga lahko najde Constantinovem blogu.
kogledom: tvoj link zgleda že malo star, ker po novem(vsaj meni) se solaris že po defaultu inštalira na ZFS, tako da je potrebno samo na drugem disku narediti particije, instalirat grub in attachat disk v pool in je zadeva v mirrorju.
Trenutno še čakam odgovor na HF o tem, ali narediti filebased iscsi target ali zvol. Pri prvem ne vem, kako zgledajo snapshoti. ČE imam 10GB velik file in naredim snapshot, kako bo zgledalo, ko zapišem dodatnih 10MB v tisto datoteko. Ali bo v snapshot premaknil celotnih 10GB ali si bo zabeležil samo razliko v blokih, kot to počne pri zvol.
lp, Matej
levaky ::
No, očitno sem si narobe predstavljal, kako se delajo snapshoti... Kakorkoli, odločil sem se za filebased iscsi LU-je, ker jih je tudi lažje premikati, saj lahko datoteke preprosto skopiram, namesto da bi moral uporabljati zfs send/receive.
Včeraj sem v root pool dodal še en disk, tako da imam sedaj tudi sistemski disk mirroran. Juhej:) Preveriti moram še, če dela boot iz obeh, potem pa sem na konju.
Kontrolerji so na poti in upam da prispejo jutri.
Za web/mail pool sem dokupil še 1 disk in se rajši odločil za RAID10 namesto RAID5. Sicer izgubim nekaj prostora, dobim pa malo večjo varnost in, kar je najbolj pomembno(AFAIK), večji IOPS. Sodeč po bonnie++ se mi število IOPSov poveča za cca 400.
Matej
Včeraj sem v root pool dodal še en disk, tako da imam sedaj tudi sistemski disk mirroran. Juhej:) Preveriti moram še, če dela boot iz obeh, potem pa sem na konju.
Kontrolerji so na poti in upam da prispejo jutri.
Za web/mail pool sem dokupil še 1 disk in se rajši odločil za RAID10 namesto RAID5. Sicer izgubim nekaj prostora, dobim pa malo večjo varnost in, kar je najbolj pomembno(AFAIK), večji IOPS. Sodeč po bonnie++ se mi število IOPSov poveča za cca 400.
Matej
levaky ::
Evo, sem malo poganjal bonnie++ na RAID10 ZFSju...
fatlady je ZFS NAS
moron je debian mountan preko iscsi
moron-nfs je debian mountan preko nfs
Rezultati
Mal sem razočaran nad performanci... Vsaj za seq write sem pričakoval, da bo šel preko mreže okoli 90MB/s, kolikor očitno zmore mreža...
Matej
fatlady je ZFS NAS
moron je debian mountan preko iscsi
moron-nfs je debian mountan preko nfs
Rezultati
Mal sem razočaran nad performanci... Vsaj za seq write sem pričakoval, da bo šel preko mreže okoli 90MB/s, kolikor očitno zmore mreža...
Matej
Daedalus ::
Hja, iSCSI v kolikor nimaš hardverskega pospeševanja tud vzame svoj kos cpu-ja. Sicer pa, si že kaj eksperimentiral z nastavitvami mrežnih kartic - recimo jumbo frames? Pa si kdaj dejansko pri kopiranju prek mreže prišel blizu 90MB/s?
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
levaky ::
Mja, zna bit da je CPU ozko grlo. Nisem uspel nič preverjat stanja CPUja na NAS mašini...
Jumboframes imam trenutno izklopljeno, ker mi jih switch ne podpira. Pa tudi sicer mi zaveda lahko nafila 1GBps link preko iSCSI oz. preko NFSja. No, ne gre ravno 120MB/s, ampak pride tja do 106.
Matej
Jumboframes imam trenutno izklopljeno, ker mi jih switch ne podpira. Pa tudi sicer mi zaveda lahko nafila 1GBps link preko iSCSI oz. preko NFSja. No, ne gre ravno 120MB/s, ampak pride tja do 106.
Matej
levaky ::
Mja, zanimiv je tale zfs:)
Trenutno mi filebased iscsi LU zelo dobro delajo oz. dobim zadovoljive rezultate(za razliko od zvol, ki je precej bolj CPU požrešen) - poglej link 2 objavi višje.
Imam pa en problem, ki ga ne znam rešiti.. Recimo da naredim snapshot nekega ZFS folderja v katerem imam iSCSI filebased LUje(recimo web in mail datoteki). Naslednji dan po nesreči zbrišem 2 pomembni mapi in dodam kup datotek. Kako bi nazaj dobil samo tisti dve mapi, ki sem jih po nesreči zbrisal? Rollback snapshota ne morem naresti, ker mi potem povozi vse nove datoteke. Razmišljam, kako bi web datoteko dodal kot iscsi LU. ČE mi to uspe, potem lahko na iscsi initiatorju zadevo mountam in prekopiram, saj mi LU iz snapshota prepozna kot disk.
Poizkusil sem naslednji dve stvari:
sbdadm import-lu /zpool1/iscsi/.zfs/snapshot/08.04.2011_21\:08\:37/web pa mi je sistem javil napako sbdadm: meta file error.
Če probam create-lu, pa dobim sbdadm: unknown error.
To je edino, kar me drži nazaj, da se ne odločim za filebased LUje.
NFS se mi dokaj dobro obnese(in ni problemov z restorom datotek), vendar je tam problem, če slučajno pade NAS server dol, mi client zmrzne, kar je jeba:)
Matej
Trenutno mi filebased iscsi LU zelo dobro delajo oz. dobim zadovoljive rezultate(za razliko od zvol, ki je precej bolj CPU požrešen) - poglej link 2 objavi višje.
Imam pa en problem, ki ga ne znam rešiti.. Recimo da naredim snapshot nekega ZFS folderja v katerem imam iSCSI filebased LUje(recimo web in mail datoteki). Naslednji dan po nesreči zbrišem 2 pomembni mapi in dodam kup datotek. Kako bi nazaj dobil samo tisti dve mapi, ki sem jih po nesreči zbrisal? Rollback snapshota ne morem naresti, ker mi potem povozi vse nove datoteke. Razmišljam, kako bi web datoteko dodal kot iscsi LU. ČE mi to uspe, potem lahko na iscsi initiatorju zadevo mountam in prekopiram, saj mi LU iz snapshota prepozna kot disk.
Poizkusil sem naslednji dve stvari:
sbdadm import-lu /zpool1/iscsi/.zfs/snapshot/08.04.2011_21\:08\:37/web pa mi je sistem javil napako sbdadm: meta file error.
Če probam create-lu, pa dobim sbdadm: unknown error.
To je edino, kar me drži nazaj, da se ne odločim za filebased LUje.
NFS se mi dokaj dobro obnese(in ni problemov z restorom datotek), vendar je tam problem, če slučajno pade NAS server dol, mi client zmrzne, kar je jeba:)
Matej
Zgodovina sprememb…
- spremenil: levaky ()
levaky ::
No tako, stvari so blizu končnih:)
Včeraj sta prišla oba kontrolerja(Intel SASUC8I). Na žalost oba na enkrat ne bosta mogla obratovati, ker sem spregledal drobni tisk pri nakupu plate. Na plati imam namreč 1x PCIex16, 1xPCIex8 in 2xPCIex1. Če imam oba PCIex1 porta zapolnjena, potem PCIex8 pravtako postane PCIex1 in kontroler ne deluje(v x1 portih imam pa 2 mrežni). Sicer sem razmišljal o zamenjavi plate za Supermicro X8SIL-F, vendar bi to za seboj potegnilo preveč stroškov. Po drugi strani nam zaenkrat 12 diskov, kolikor jih je zmožen poganjati trenutni sistem, zadostuje.
Prav tako je prišlo dodatnih 4GB rama, za katere mi je ZFS prav lepo hvaležen(write se mi je povečal za cca 40MB/s, prav tako pa se je dvignil tudi seek-rate(posebno po večkrat iskanju istih datotek, ki jih je očitno keširal).
Zgoraj opisani problem sem tudi uspel rešiti. Na žalost ne moraš kreirati logičnega pogona direktno iz snapshota. Lahko pa narediš clone snapshota in potem iz njega kreiraš LU ter mountaš. Kakorkoli, končni rezultat je enak.
Na žalost sem upal, da bom lahko uporabil NFS namesti iSCSIa, a ima ZFS to hibo, da so vsi zapisi preko NFS syncani in je zadeva noro počasna. Morda preklopim na NFS, ko enkrat kupimo SSD in ga uporabimo za ZIL(druga opcija je izklop ZILa, kar pa mi ne diši preveč).
Zaenkrat bo strežnik na SAN povezan preko iSCSI protokola, ki zaenkrat ponuja najboljše performance(čeprov je restore fajlov malo bolj dolgotrajen kot bi bil pri NFSju).
Zadnji benchmark RAID10 polja preko iSCSI:
- Seq write: 70MB/s
- Seq rewrite: 40MB/s
- Per Character write: 30MB/s
- Seq read: 104MB/a
- Per Character read: 35MB/s
- Random seeks: okoli 500/s
Client mašina, na kateri sem testiral, je precej stara in morda bi kakšna novejša zmogla še boljši write speed.
Benchmark RAID10 direktno na SAN/NASu pa vrne naslednje:
- Seq write: 160MB/s
- Seq rewrite: 104MB/s
- Per Character write: 75MB/s
- Seq read: 300MB/a
- Per Character read: 90MB/s
- Random seeks: okoli 2700/s
Obremenjenost CPUja med zaporednim pisanjem je med 15 in 20%.
Moram reči, da se je zadeva precej dobro končala, glede na začetno stanje in da sem prav vesel, da sem imel toliko problemov, saj se mi zdi trenutna rešitev veliko boljša in predvsem bolj "bulletproof" kot začetna. Če bi se še enkrat lotil enakega projekta, bi seveda izbral drugo plato(zgoraj omenjeno supermicro), Xeona in ECC ram(ker drugače ne gre). Ostale stvari pa so sedaj nekje na optimalni ravni glede na vloženi denar.
Takole čez palec je cena tegale NAS/SAN-a, če odštejemo diske in SAS expander, nekje med 1300 in 1400€. Precej ceneje od drugih SAN rešitev.
Mimogrede, rabi kdo Chembro SAS expander?
Matej
Včeraj sta prišla oba kontrolerja(Intel SASUC8I). Na žalost oba na enkrat ne bosta mogla obratovati, ker sem spregledal drobni tisk pri nakupu plate. Na plati imam namreč 1x PCIex16, 1xPCIex8 in 2xPCIex1. Če imam oba PCIex1 porta zapolnjena, potem PCIex8 pravtako postane PCIex1 in kontroler ne deluje(v x1 portih imam pa 2 mrežni). Sicer sem razmišljal o zamenjavi plate za Supermicro X8SIL-F, vendar bi to za seboj potegnilo preveč stroškov. Po drugi strani nam zaenkrat 12 diskov, kolikor jih je zmožen poganjati trenutni sistem, zadostuje.
Prav tako je prišlo dodatnih 4GB rama, za katere mi je ZFS prav lepo hvaležen(write se mi je povečal za cca 40MB/s, prav tako pa se je dvignil tudi seek-rate(posebno po večkrat iskanju istih datotek, ki jih je očitno keširal).
Zgoraj opisani problem sem tudi uspel rešiti. Na žalost ne moraš kreirati logičnega pogona direktno iz snapshota. Lahko pa narediš clone snapshota in potem iz njega kreiraš LU ter mountaš. Kakorkoli, končni rezultat je enak.
Na žalost sem upal, da bom lahko uporabil NFS namesti iSCSIa, a ima ZFS to hibo, da so vsi zapisi preko NFS syncani in je zadeva noro počasna. Morda preklopim na NFS, ko enkrat kupimo SSD in ga uporabimo za ZIL(druga opcija je izklop ZILa, kar pa mi ne diši preveč).
Zaenkrat bo strežnik na SAN povezan preko iSCSI protokola, ki zaenkrat ponuja najboljše performance(čeprov je restore fajlov malo bolj dolgotrajen kot bi bil pri NFSju).
Zadnji benchmark RAID10 polja preko iSCSI:
- Seq write: 70MB/s
- Seq rewrite: 40MB/s
- Per Character write: 30MB/s
- Seq read: 104MB/a
- Per Character read: 35MB/s
- Random seeks: okoli 500/s
Client mašina, na kateri sem testiral, je precej stara in morda bi kakšna novejša zmogla še boljši write speed.
Benchmark RAID10 direktno na SAN/NASu pa vrne naslednje:
- Seq write: 160MB/s
- Seq rewrite: 104MB/s
- Per Character write: 75MB/s
- Seq read: 300MB/a
- Per Character read: 90MB/s
- Random seeks: okoli 2700/s
Obremenjenost CPUja med zaporednim pisanjem je med 15 in 20%.
Moram reči, da se je zadeva precej dobro končala, glede na začetno stanje in da sem prav vesel, da sem imel toliko problemov, saj se mi zdi trenutna rešitev veliko boljša in predvsem bolj "bulletproof" kot začetna. Če bi se še enkrat lotil enakega projekta, bi seveda izbral drugo plato(zgoraj omenjeno supermicro), Xeona in ECC ram(ker drugače ne gre). Ostale stvari pa so sedaj nekje na optimalni ravni glede na vloženi denar.
Takole čez palec je cena tegale NAS/SAN-a, če odštejemo diske in SAS expander, nekje med 1300 in 1400€. Precej ceneje od drugih SAN rešitev.
Mimogrede, rabi kdo Chembro SAS expander?
Matej
Brane2 ::
Takole čez palec je cena tegale NAS/SAN-a, če odštejemo diske in SAS expander, nekje med 1300 in 1400€. Precej ceneje od drugih SAN rešitev.
ne vem, s čem se vi ukvarjate, a meni tale low cost hardver dela imenitno, seveda po temeljitem začetnem tsetnem brcanju v mašino z vseh strani.
Moj sanjski server:
- plata Gigabyte GA-890FXA-UD5 KLIK!
- en poceni Bulldozer 4x2 core
- zafilana z RAM-om, recimo 4x2GiB ali 4x4GiB
- v PCIex1 slotih poceni a solidne Realtek 8111D/DL/E mrežne
v PCIex8/16 slotih poceni a solidne 4x/e/SATA kartice.
Na tako kombinacijo lahko brez problema prištekam 8 ( na plati) + 4 * 4 ( na vsaki kartici) = 24 diskov.
Na to pa še 2 zunanja eSATA.
Vse skupaj s pixno in diski bi moral bit sposoben dobit za malo več kot si ti dal za škatlo brez diskov.
Naj bo plata €250, pa še en Bulldozer zanjo €200. Naj bo piksna s solidnim napajalcem €250. Pa ekstra SATA kartice po 4x€60, to je 240.
Pa ekstra 2 mrežne €25 skupaj. VSe skupaj €1.000. Za naslednjih €2.000 dobiš 30 2TiB diskov, s katerimi vse skupaj zafilaš.
24 jih daš v mašino, 2 v zunanji banjici za kojekakve prenose podatkov, preostale 4 pa daš na polico kot cold-swap "nek-se-nadže".
Stvar oblikuješ v recimo RAID-5 polje iz 22 diskov + 2 hot-sparea.
Tako dobiš uporabno velikost 21x2TB, kar bi moralo znesti po vseh "davkih" za skoraj 40 uporabnih TiB.
Prei prenosnih hiitrostih, ki zlahka zafilajo vse 4 kartice ( 2 onboard + 2 v slotih) hkrati, tudi če mašina napol spi.
Pri tem bi bilo 2/3 končne cene mašine v diskih, torej samo 1/3 "režijskih stroškov".
Edina jeba bi bila lotanje napajalnih konektorjev za vvse te diske in pa izdelava škatle pri kakem MALIju...
Pa seveda, ker ne bi imel opozorilnih lučk in hot-swap-capabilityja, menjava diskov bi znala biti malo boleča. Ali pa tudi ne.
Z malo spretnosti bi se jo moralo dati izvesti med delom mašine, ravno tako diagnostiko...
On the journey of life, I chose the psycho path.
levaky ::
No sej, izbira komponent je precej podobna(vsaj cenovno)... Zgornja Supermicro plata pride 140€, ima 3x x8 reže, kar je dovolj za HBAje furat + ima KVM-over-ethernet, kar je fino, da ni treba zmerom ekrana prikloplat na server, ko gre kej narobe. Tudi Xeon ni bajno drag, kolikor sem gleda, je cena med 160-200€(ne spomnim se točnega modela, en 4 jedni). Ram mora biti sicer ECC, vendar tudi ta ni več tako drag kot je bil včasih(8GB pride 130€). Z napajalnikom jaz nisem ne vem kako pretiraval, kar zadeva nima velike porabe. Enak sistem enega Švicarja z 10x 2TB samsungi kuri 120W. Sem pa vseeno dal nekaj čez 100€ za napajalnik, da ni ravno najslabša možna izbira:)
6x SATA na plati + 2x Intelov HBA(vsaj lahko fura 8 diskov, cena enega kontrolerja je 130€).
Pri meni ceno zelo dvigne ohišje, ki res ni poceni. A po drugi strani je veliko cenejši kot konkurenca(cca 1000€ in naprej). Nam je bilo pa pomembno imeti hot-swape, ker bo zadeva v racku, pa jo ni mogoče ugašati in vleči ven iz racka vsakič, ko bi hoteli dodati/zamenjati disk.
Sicer se pa dobi hotswap bay-e od supermicra, ki jih samo ustaviš v kišto. Niso pa poceni in se hitro bolj splača vzeti ohišje, kot ga imamo mi, ker pride cena tam-tam.
Uglavnem, mava kr iste želje:) V obeh primerih bi zaveda bila mega hitra.
Matej
6x SATA na plati + 2x Intelov HBA(vsaj lahko fura 8 diskov, cena enega kontrolerja je 130€).
Pri meni ceno zelo dvigne ohišje, ki res ni poceni. A po drugi strani je veliko cenejši kot konkurenca(cca 1000€ in naprej). Nam je bilo pa pomembno imeti hot-swape, ker bo zadeva v racku, pa jo ni mogoče ugašati in vleči ven iz racka vsakič, ko bi hoteli dodati/zamenjati disk.
Sicer se pa dobi hotswap bay-e od supermicra, ki jih samo ustaviš v kišto. Niso pa poceni in se hitro bolj splača vzeti ohišje, kot ga imamo mi, ker pride cena tam-tam.
Uglavnem, mava kr iste želje:) V obeh primerih bi zaveda bila mega hitra.
Matej
Brane2 ::
Mislim, da bi se dalo naredit zadevo hot-swap po red-neck metodah praktično zastonj- to v smislu da stai drive potegneš ven in novega enostavno porineš v ležišče.
Bom moru probat...
Bom moru probat...
On the journey of life, I chose the psycho path.
levaky ::
Ja, to bi šlo brez problema, ker tako kontroler na plati kot Intelov HBA podpirata hotswap. Odklopiš starega in priklopiš novega in je:)
Matej
Matej
Brane2 ::
Ne, mislu sem tudi če ga ne bi. Disk se itak mehko vžge, torej vklopni trenutek ni problem.
baje je nek utility, s katerim lahko reskeniraš PCI bus in pogledaš, če je kje kaka sprememba in pač updataš neke interne tabele diskov.
Ostane samo še problem trenutka vklopa, ta je pa itak že kul zaradi oblike kontakotv na disku. Pini za maso so daljši od sotalih, torej pridejo v kontakt prvi.
Vse se zdi kosher...
Rešitev bi bla tale,d a bi pri MALIju dal delat piksno, ki bi imela čisto simpl šine za vsak disk posebej.
Ko bi diske priklopil, bi njihove konektorje hot-glual na kak nosilec. Ko bi disk potegnil ven, bi konektorji ostali zalepljeni na ohišje v natanko pravi poziciji.
Sedaj ostanejo samo še LEDice za diagnostiko in identifikacijo. To bi rešil z mikrokrmilnikom na USB portu in gomilo LEDic.
V bistvu raje 8x8 matrix LED dual-colour display...
baje je nek utility, s katerim lahko reskeniraš PCI bus in pogledaš, če je kje kaka sprememba in pač updataš neke interne tabele diskov.
Ostane samo še problem trenutka vklopa, ta je pa itak že kul zaradi oblike kontakotv na disku. Pini za maso so daljši od sotalih, torej pridejo v kontakt prvi.
Vse se zdi kosher...
Rešitev bi bla tale,d a bi pri MALIju dal delat piksno, ki bi imela čisto simpl šine za vsak disk posebej.
Ko bi diske priklopil, bi njihove konektorje hot-glual na kak nosilec. Ko bi disk potegnil ven, bi konektorji ostali zalepljeni na ohišje v natanko pravi poziciji.
Sedaj ostanejo samo še LEDice za diagnostiko in identifikacijo. To bi rešil z mikrokrmilnikom na USB portu in gomilo LEDic.
V bistvu raje 8x8 matrix LED dual-colour display...
On the journey of life, I chose the psycho path.
levaky ::
Mja, če si kolikor toliko domač v kakem autocadu, bi si tako ali tako lahko naročil kake backplane in jih zmontiral na konec šine.
No, sicer pa tud teli hotswap bay-i od Norcota niso tako dragi.
Je pa seveda razlika ali to delaš za doma ali za kakšno podjetje. No, pa odvisno je koliko imaš časa in volje se sploh s tem ukvarjat. Vprašanje je tudi, koliko bi ti MALI računal za ohišje?
Matej
No, sicer pa tud teli hotswap bay-i od Norcota niso tako dragi.
Je pa seveda razlika ali to delaš za doma ali za kakšno podjetje. No, pa odvisno je koliko imaš časa in volje se sploh s tem ukvarjat. Vprašanje je tudi, koliko bi ti MALI računal za ohišje?
Matej
Brane2 ::
$50 po kosu je še vedno več od €1 za vse skupaj...
No, plus €10 za kontroler z displejem...
No, plus €10 za kontroler z displejem...
On the journey of life, I chose the psycho path.
Zgodovina sprememb…
- spremenil: Brane2 ()
Pyr0Beast ::
ma kdo je sploh rekel da bi morali biti konektorji fiksni ?
Zabiješ disk s sprednjo stran v kišto in na zadnji strani diska priklapljaš na roke power+sata konektorje.
Zabiješ disk s sprednjo stran v kišto in na zadnji strani diska priklapljaš na roke power+sata konektorje.
Some nanoparticles are more equal than others
Good work: Any notion of sanity and critical thought is off-topic in this place
Good work: Any notion of sanity and critical thought is off-topic in this place
Brane2 ::
Vem, ampak kul je, če disk lahko kar tako lepo ven potegneš.
Pri polju v DIY verziji je problem uganiti, kateri disk točno bi rad potegnil ven.
Sploh tale verzija bi bila cool , ker se ti kablov še dotakniti ne bi bilo treba med delom.
Bom to moru probat. S tem prideš na eleganco profi variante praktično zastonj...
Pri polju v DIY verziji je problem uganiti, kateri disk točno bi rad potegnil ven.
Sploh tale verzija bi bila cool , ker se ti kablov še dotakniti ne bi bilo treba med delom.
Bom to moru probat. S tem prideš na eleganco profi variante praktično zastonj...
On the journey of life, I chose the psycho path.
levaky ::
Če se zadeve lotiš z backplane-om, ki sem ga napopal zgoraj, potem nimaš problemov z iskanjem tapravega diska. Diski si sledijo iz leve proti desni. V najslabšem primeru poženeš dd in vidiš pri katerem disku ponori ledica za activity:)
Matej
Matej
Brane2 ::
To ne dela vedno, sploh če se kaj na polju dogaja in stroja ne moreš ustavit.
Sploh pa, to je tamau problem. Kot vidim, lahko vzamem eno dvobarvni LED dot-matrix 5x7 ali 8x8 in naredim en megacool displej prisotnosti in izpravnosti diskov.
Dot-matrix bi moral biti kaj v rangu €2-3. Ravno tako je mikrokrmilnik z USB portom danes zelo poceni. Na to potem rabim samo še par drobnarij in to je vse.
Tudi šina za diske bi morala biti izvedljiva zelo enostavno, poceni in zelo efektivno.
Sploh pa, to je tamau problem. Kot vidim, lahko vzamem eno dvobarvni LED dot-matrix 5x7 ali 8x8 in naredim en megacool displej prisotnosti in izpravnosti diskov.
Dot-matrix bi moral biti kaj v rangu €2-3. Ravno tako je mikrokrmilnik z USB portom danes zelo poceni. Na to potem rabim samo še par drobnarij in to je vse.
Tudi šina za diske bi morala biti izvedljiva zelo enostavno, poceni in zelo efektivno.
On the journey of life, I chose the psycho path.
levaky ::
To maš res ja:)
No, sicer pa lahko tudi sam ugotoviš kje je kak disk, če si malo pozoren, ko priklapljaš disk... Če vidiš da je na prvem kontrolerju, prvi port in 1 sata priključek na portu, potem ima določen device name.
Je pa stvar na solarisu malo hitreje vidna, ker so device name-i v stilu c2t0d0. Se pravi kontroler 2, port 0 oziroma kontoler 2, port 0, prvi sata kabl. Za peti sata oz port1,sata konektor 1 bi bilo c2t4d0. V linuxu moraš pa pogledati v dmesg, kje se nahaja disk. Malo bolj dolgotrajno, a vseeno se da.
Matej
No, sicer pa lahko tudi sam ugotoviš kje je kak disk, če si malo pozoren, ko priklapljaš disk... Če vidiš da je na prvem kontrolerju, prvi port in 1 sata priključek na portu, potem ima določen device name.
Je pa stvar na solarisu malo hitreje vidna, ker so device name-i v stilu c2t0d0. Se pravi kontroler 2, port 0 oziroma kontoler 2, port 0, prvi sata kabl. Za peti sata oz port1,sata konektor 1 bi bilo c2t4d0. V linuxu moraš pa pogledati v dmesg, kje se nahaja disk. Malo bolj dolgotrajno, a vseeno se da.
Matej
Brane2 ::
Tudi na linuxu se to komot da. Samo pravila v udev je treba malo potweakat, kar se da čisto enostavno s kakim tekst editorjem.
Sploh pa tega najbrž ni treba. Če ti disk pade, se to ziher da videt kje v /sys ali /proc...
Sploh pa tega najbrž ni treba. Če ti disk pade, se to ziher da videt kje v /sys ali /proc...
On the journey of life, I chose the psycho path.
Zgodovina sprememb…
- spremenil: Brane2 ()
trnvpeti ::
Dejte mi mal pomagat pri gradnji enega sistema.
Gor bi se hranile graficne datoteke, tam do 50G.
Mogoce bi celo postavil dva taksna sistema, drugi bi bil za backupe.
Samba,rsync(backup) mogoce se iScsi
Zamislil sem si:
1. eno maticno, recimo 1155, ki ima 6xsata(obstaja kaksna z 8sata, je bolje maticna 4xsata + 4xsata na pci) + 2x1G mrezna (verjetno ne potrebujem dodatnih pci kartic za sata in mrezo?)
2. en sandy bridge procesor (kateri bo dovolj?)
3. eno ohisje, da bo notri slo 6 diskov (ali pa 8)
4. 6x(ali pa 8x) 2T diski (green wd ali samsung?) + 1 za rezervo
5. napajalnik (koliko W bo dovolj?)
6. ram (recimo 8G bo dovollj?)
7. kateri operacijski sistem dati gor in kateri fs (ext4?)
8. kako narediti bonding dveh mreznih(ali se kaksna dodatna preko pci)
9.expandanje, prvo bi postavil samo 3 ali 4 diske, naredil polje (lvm?), potem bi dodal diske
10. ce je maticna samo 6xsata, kaksen je naknadni postopek, recimo da en sata kontroler na pci, pa gor se dva diska
11.kaksna skatlica za vec diskov v bay 5.25?
Gor bi se hranile graficne datoteke, tam do 50G.
Mogoce bi celo postavil dva taksna sistema, drugi bi bil za backupe.
Samba,rsync(backup) mogoce se iScsi
Zamislil sem si:
1. eno maticno, recimo 1155, ki ima 6xsata(obstaja kaksna z 8sata, je bolje maticna 4xsata + 4xsata na pci) + 2x1G mrezna (verjetno ne potrebujem dodatnih pci kartic za sata in mrezo?)
2. en sandy bridge procesor (kateri bo dovolj?)
3. eno ohisje, da bo notri slo 6 diskov (ali pa 8)
4. 6x(ali pa 8x) 2T diski (green wd ali samsung?) + 1 za rezervo
5. napajalnik (koliko W bo dovolj?)
6. ram (recimo 8G bo dovollj?)
7. kateri operacijski sistem dati gor in kateri fs (ext4?)
8. kako narediti bonding dveh mreznih(ali se kaksna dodatna preko pci)
9.expandanje, prvo bi postavil samo 3 ali 4 diske, naredil polje (lvm?), potem bi dodal diske
10. ce je maticna samo 6xsata, kaksen je naknadni postopek, recimo da en sata kontroler na pci, pa gor se dva diska
11.kaksna skatlica za vec diskov v bay 5.25?
Zgodovina sprememb…
- spremenil: trnvpeti ()
levaky ::
Zamislil sem si:
1. eno maticno, recimo 1155, ki ima 6xsata(obstaja kaksna z 8sata, je bolje maticna 4xsata + 4xsata na pci) + 2x1G mrezna (verjetno ne potrebujem dodatnih pci kartic za sata in mrezo?)
2. en sandy bridge procesor (kateri bo dovolj?)
3. eno ohisje, da bo notri slo 6 diskov (ali pa 8)
4. 6x(ali pa 8x) 2T diski (green wd ali samsung?) + 1 za rezervo
5. napajalnik (koliko W bo dovolj?)
6. ram (recimo 8G bo dovollj?)
7. kateri operacijski sistem dati gor in kateri fs (ext4?)
8. kako narediti bonding dveh mreznih(ali se kaksna dodatna preko pci)
9.expandanje, prvo bi postavil samo 3 ali 4 diske, naredil polje (lvm?), potem bi dodal diske
10. ce je maticna samo 6xsata, kaksen je naknadni postopek, recimo da en sata kontroler na pci, pa gor se dva diska
11.kaksna skatlica za vec diskov v bay 5.25?
Evo, če bi jaz še enkrat sestavljal nekaj podobnega, bi zgledalo takole:
1. Plata Supermicro X8SIL-F(cca 140€). Ima dovolj pcie portov za dodatne HBAje, KVM-over-ethernet, tako da lahko do pcja dostopaš tudi preko mreže, ne rabiš priklaplat monitorja,... Ima 6 SATA portov, če rabiš več, dodaš en LSI 1068E kontroler(cca 150€) in imaš placa a še dodanih 8 diskov.
2. Na zgornjo plato pašejo i3/i5 proci, čeprav svetujejo Xeona(L ali X serija). "Ta pocen" so, kolikor sem gledal, malo čez 120€
3. Glede ohišij, bi jaz vzel nekaj od Norcota, saj so najcenejši(če gledaš kaj v rangu ohišij z hotswap polji in možnostjo priklučitve redundančnih napajalnikov). Norco. Uvoznik za EU je Ri-Vier.
4. Pomoje je dosti vseeno. Meni Samsungi delujejo odlično, cena 2TBjev je tam tam z WDji, tako da je bolj odvisno od tega, kakšne imaš izkušnje z različnimi diski.
5. Napajalnik bo hitro dovolj. Gledal sem en build z P55 chipsetom, i3 proc, raid kontroler + 10x 2TB diski in je porabe cca 120W. Vsekakor vzami nekaj dobrega z dobrim izkoristkom, saj bo stvar lavfala 24/7. Če dobiš redundančnega, bo sploh fino.(Jaz mam kar navadnega).
6. Za zgornjo plato rabiš ECCja. Vzami 8GB ECCja, verjetno ni treba ravno kakega mega dragega. Kolikor sem sam gledal nekaj časa nazaj, pride 2x4GB tam okoli 120€.
7. Odvisno od predhodnega znanja verjetno. Jaz ti svetujem kako OpenIndiano(ex. Solaris) in nappit web fronted. Meni se obnese perfektno. Samba,NFS,iSCSI je že vse v kernelu in dela odlično, konfiguracija je veliko lažja kot pri sambi. No, pa zraven imaš še bombončke ZFSja, ki so itaq top:)
8. Ne vem točnega ukaza iz glave, ampak nekaj v stilu komanda virtual_iface mreza1 mreza2
9. Najprej narediš recimo s tremi diski, potem, ko zmanjka placa, pa dodaš nove 3 diske v raid5 recimo in dodaš te diske k glavnemu "pool-u". Avtomatsko se ti poveča plac, brez potrebe po kakem expandanju particij/fsja. Edina slaba stran je, da moraš dodati vsaj 2 diske(raid5) oz 2(mirror) na enkrat, ne moreš dodajati enega po enega kot pri linux mdadm raidu.
10. Kot sem že zgoraj omenil, priklopiš kontroler na plato, povežeš s kabli, daš diske v server in zalavfaš. Ko se zboota, nappit vidi nove diske, ki jih samo dodaš v pool in lavfa:)
11. Tudi lahko, čeprav se splača že v štartu kupt ohišje z dosti placa.
Zdej je pa na tebi, da se mal odločiš. Mal si na wikiju preberi featurje ZFSja, vrjamem da ti jih bo kar nekaj prav prišlo(sploh kaki snapshoti).
Če te še kaj zanima, pa kar z besedo na dan.
Matej
levaky ::
Poglej na RiVierjevi strani.
Recimo RPC-450TH z 10x hotswap bayi pride 280€. RPC-450FH pa 180€, s tem da ima 5 hot swapov in 5 navadnih diskov.
Matej
Recimo RPC-450TH z 10x hotswap bayi pride 280€. RPC-450FH pa 180€, s tem da ima 5 hot swapov in 5 navadnih diskov.
Matej
trnvpeti ::
Ja z linuxom nimam problemov, z zfsjem pa se nisem delal.
Sedaj imam v glavi, da bi naredil testno instalacijo.
Recimo na virtualizaciji, a bi to šlo? Dva trije diski, dve mrezni, openIndiana.
Če to ni najboljši scenarij, potem pa:
eno poceni plosco(2 ali 4 sata), en cpu, dva diska, se dodatna mrezna
instalacija openIndiana, zfs
Ko deluje, se kot je rekel brane2 eno pci sata kartico, pa se dva diska, in da vidim, kako to deluje.(itak mi ostane za backup server)
levaky, šele potem bi šel na tvoj predlog.
Pa se to imam pomisleke, da je to ohisje za večja polja. Bi prisel najvec tko do ene 8-10 2T diskov.
Kaksno hitrost branja/pisanja bi dosegel recimo poceni varianta z 4 diski, kaksna tvoja z supermikro?
Sedaj imam v glavi, da bi naredil testno instalacijo.
Recimo na virtualizaciji, a bi to šlo? Dva trije diski, dve mrezni, openIndiana.
Če to ni najboljši scenarij, potem pa:
eno poceni plosco(2 ali 4 sata), en cpu, dva diska, se dodatna mrezna
instalacija openIndiana, zfs
Ko deluje, se kot je rekel brane2 eno pci sata kartico, pa se dva diska, in da vidim, kako to deluje.(itak mi ostane za backup server)
levaky, šele potem bi šel na tvoj predlog.
Pa se to imam pomisleke, da je to ohisje za večja polja. Bi prisel najvec tko do ene 8-10 2T diskov.
Kaksno hitrost branja/pisanja bi dosegel recimo poceni varianta z 4 diski, kaksna tvoja z supermikro?
levaky ::
Jaz z 3x2TB Samsung F4 diski(RAID5) dobim okoli 200MB/s pisanje in približno toliko branje(sekvenčno) in cca 500 IOPSov. Imam pa take hitrosti tako na LSI 1068 HBAju, kot na ICH chipsetu na plati.
Preko mreže je stvar malo drugačna. SMB protokol read je 100MB/s, medtem ko se mi write ustavi nekje pri 70MB/s. iSCSI ima podoben performance, NFS pa je porazen, ker dela sync write, tako da slednje bolj kot ne, odpade, razen če imaš SSD ZIL.
Tudi moja testna mašina je bla v virtualboxu. 1 disk za sistem, naložil OI(jaz tudi na serverju lavfam GUI verzijo zaradi TimeSlida). Ko je sistem naložen, sem inštaliral nappit(navodila imaš na spletni strani, 1 ukaz in woila). Ugasnil kišto, dodal 3 diske, zbootal, naredil vdev(virtual dev) iz tistih treh diskov kot raidZ in dodal v pool(ene vrste LVM). Potem pa samo še delaš mape(ZFS folder) in nastavljaš parametre. Precej oz. večino se da nastaviti preko webguia, ostalo pa preko konzole.
Sicer je pa tale tema na Hard Forumu vse kar rabiš. V prvem postu imaš mal predstavitve, svetuje hardware, install howtu,... splača pa se prebrati kar ceu thread, ker je kup uporabnih podatkov notri. Če se zadeve resno lotiš, boš tako ali tako kmalu prebral ta thread in še ene 2 druga + kup howtojev:P
Ohišje, ki sem ti ga svetoval, je za 10 diskov. Lahko vzameš tudi tistega cenejšega, ki stane cca 100€ oz še nekaj manj in ima ravno tako prostora za 10 diskov, le hotswap niso, kar pomeni, da moraš najverjetneje server ugasnit, ko menjaš disk. Če ti to ni problem, potem gladko pojdi s poceni kišto(hot swap polja lahko dodaš tudi naknadno). Toj prbližn to:)
Aja, ko boš kupoval dodatne SATA kartice, pazi, da so podprte pod solarisom(malo preveri po Hard Forumu).
Matej
Preko mreže je stvar malo drugačna. SMB protokol read je 100MB/s, medtem ko se mi write ustavi nekje pri 70MB/s. iSCSI ima podoben performance, NFS pa je porazen, ker dela sync write, tako da slednje bolj kot ne, odpade, razen če imaš SSD ZIL.
Tudi moja testna mašina je bla v virtualboxu. 1 disk za sistem, naložil OI(jaz tudi na serverju lavfam GUI verzijo zaradi TimeSlida). Ko je sistem naložen, sem inštaliral nappit(navodila imaš na spletni strani, 1 ukaz in woila). Ugasnil kišto, dodal 3 diske, zbootal, naredil vdev(virtual dev) iz tistih treh diskov kot raidZ in dodal v pool(ene vrste LVM). Potem pa samo še delaš mape(ZFS folder) in nastavljaš parametre. Precej oz. večino se da nastaviti preko webguia, ostalo pa preko konzole.
Sicer je pa tale tema na Hard Forumu vse kar rabiš. V prvem postu imaš mal predstavitve, svetuje hardware, install howtu,... splača pa se prebrati kar ceu thread, ker je kup uporabnih podatkov notri. Če se zadeve resno lotiš, boš tako ali tako kmalu prebral ta thread in še ene 2 druga + kup howtojev:P
Ohišje, ki sem ti ga svetoval, je za 10 diskov. Lahko vzameš tudi tistega cenejšega, ki stane cca 100€ oz še nekaj manj in ima ravno tako prostora za 10 diskov, le hotswap niso, kar pomeni, da moraš najverjetneje server ugasnit, ko menjaš disk. Če ti to ni problem, potem gladko pojdi s poceni kišto(hot swap polja lahko dodaš tudi naknadno). Toj prbližn to:)
Aja, ko boš kupoval dodatne SATA kartice, pazi, da so podprte pod solarisom(malo preveri po Hard Forumu).
Matej
Vanadium ::
Kako je pa kaj z TLER pri teh F4 diskih? Vemo da od WD glih niso za raide?
Zgodovina sprememb…
- spremenilo: Vanadium ()
levaky ::
Za software RAID TLER ni pomemben oz. za ZFS celo svetujejo, da diski NIMAJO TLERa...
Za HW RAID pa je TLER AFAIK obvezen.
Matej
Za HW RAID pa je TLER AFAIK obvezen.
Matej
levaky ::
Le:)
Sej ne da obstaja samo moja varianta, jaz sem samo opisal varianto, ki mi po mojih testiranjih(preizkusil sem OpenFiler, ZFSguru, FreeNAS in NappIT) najbolje odgovarja. Tako da če ti ta ne bo odgovarjal, še vedno lahko poizkusiš druge. Imajo pa vse tako svoje + kot -.
Matej
Sej ne da obstaja samo moja varianta, jaz sem samo opisal varianto, ki mi po mojih testiranjih(preizkusil sem OpenFiler, ZFSguru, FreeNAS in NappIT) najbolje odgovarja. Tako da če ti ta ne bo odgovarjal, še vedno lahko poizkusiš druge. Imajo pa vse tako svoje + kot -.
Matej
čuhalev ::
Ima kdo kak nasvet za 6 diskov v Debianu brez ZFS, razen za XFS?
Če jih postavim v raid 5 512k, dobim
/dev/md2:
Timing buffered disk reads: 924 MB in 3.00 seconds = 307.85 MB/sec
Kateri FS?
Če jih postavim v raid 5 512k, dobim
/dev/md2:
Timing buffered disk reads: 924 MB in 3.00 seconds = 307.85 MB/sec
Kateri FS?
levaky ::
Kak ext(3 ali 4). Verjetno se bo štirica bolje obnesla, pa pravilno formatiraj(poglej prejšnjo oz. prvo stran).
Matej
Matej
čuhalev ::
Gledam, berem, testiram, vendar brez napredka. 6 diskov v raid 5 pri 512k:
/dev/md2:
Timing cached reads: 1750 MB in 2.00 seconds = 874.92 MB/sec
Timing buffered disk reads: 976 MB in 3.01 seconds = 324.63 MB/sec
Nekateri imate prvo številko bistveno večjo. Karkoli storim, ni razlike.
Poskusil sem z XFS, kjer mi bonnie++ za 8 GB datoteko vrne 128 MB/s pisanja, 87 MB/s prepisanja in 470 MB/s branja. Raje bi imel hitrejše pisanje in počasnejše branje. EXT4 (nastavljen kot piše v tej temi) piše še počasneje, vendar bere hitreje.
Particije sem menda uspešno nastavil na 4kb:
/dev/sda2:
Timing cached reads: 1642 MB in 2.00 seconds = 821.37 MB/sec
Timing buffered disk reads: 400 MB in 3.01 seconds = 133.00 MB/sec
/dev/md2:
Timing cached reads: 1750 MB in 2.00 seconds = 874.92 MB/sec
Timing buffered disk reads: 976 MB in 3.01 seconds = 324.63 MB/sec
Nekateri imate prvo številko bistveno večjo. Karkoli storim, ni razlike.
Poskusil sem z XFS, kjer mi bonnie++ za 8 GB datoteko vrne 128 MB/s pisanja, 87 MB/s prepisanja in 470 MB/s branja. Raje bi imel hitrejše pisanje in počasnejše branje. EXT4 (nastavljen kot piše v tej temi) piše še počasneje, vendar bere hitreje.
Particije sem menda uspešno nastavil na 4kb:
/dev/sda2:
Timing cached reads: 1642 MB in 2.00 seconds = 821.37 MB/sec
Timing buffered disk reads: 400 MB in 3.01 seconds = 133.00 MB/sec
levaky ::
Prvi test tako ali tako nič ne pove, ker tisto je branje iz cacha...
Mimogrede, kateri kontroler imaš?
Kakšen procesor?
Kakšen je iowait med testom?
Malo poglej stanje z ukazom iostat, koliko IOPSov imaš med pisanjem... Morda chipset ne zmore več?
Kako si naredil particije, da so 4k ready?
Sicer sem pa jaz na SW RAID5(linux) z tremi diski dobil podobne hitrosti kot ti... Write nekaj čez 128MB/s, rewrite nekaj pod 100MB/s in read 270MB/s...
Pod ZFSjem imam boljše rezultate:
write: 229
rewrite: 120
read: 260
Matej
Mimogrede, kateri kontroler imaš?
Kakšen procesor?
Kakšen je iowait med testom?
Malo poglej stanje z ukazom iostat, koliko IOPSov imaš med pisanjem... Morda chipset ne zmore več?
Kako si naredil particije, da so 4k ready?
Sicer sem pa jaz na SW RAID5(linux) z tremi diski dobil podobne hitrosti kot ti... Write nekaj čez 128MB/s, rewrite nekaj pod 100MB/s in read 270MB/s...
Pod ZFSjem imam boljše rezultate:
write: 229
rewrite: 120
read: 260
Matej
Zgodovina sprememb…
- spremenil: levaky ()
čuhalev ::
Onboard ICH9 + D510. Če sem prav gledal se iowait povečuje in dvigne na 2.7, ter pride do 700 iops. Particije so GPT in večkratniki števila 2048.
levaky ::
Mja, 700 IOPSov je nekje limit zadeve AFAIK... Moj sistem ima v raid5 max. 500 IOPSov... Tukaj definitivno trčimo ob eno omejitev. Hitrosti so pa verjetno tudi nekje okoli maksimuma in dvomim, da boš dobil več kot to...
Matej
Matej
čuhalev ::
Po uporabi skripte iz http://ubuntuforums.org/showthread.php?... in mi je kar všeč.
bonnie++ 8GB:
- Seq write: 186MB/s (CPU: 72%)
- Seq rewrite: 142MB/s (CPU: 68%)
- Per Character write: 373kB/s (CPU: 98%)
- Seq read: 448MB/a (CPU: 59%)
- Per Character read: 701 kB/s (CPU: 97%)
- Random seeks: 300/s (CPU: 13%)
dd if=/dev/zero of=/home/neki/h bs=1M count=10000
10485760000 bytes (10 GB) copied, 52.8644 s, 198 MB/s
dd if=/dev/zero of=/home/neki/h bs=512k count=10000
5242880000 bytes (5.2 GB) copied, 23.8912 s, 219 MB/s
Poraba CPU in rama je visoka ... branje znakov je opazno počasnejše, morda zaradi 512k chunka. Morda ga bom zmanjšal. Sedaj je potrebno optimizirati sambo, kakšni predlogi? Pa kakšen pameten test hitrosti sambe ...
bonnie++ 8GB:
- Seq write: 186MB/s (CPU: 72%)
- Seq rewrite: 142MB/s (CPU: 68%)
- Per Character write: 373kB/s (CPU: 98%)
- Seq read: 448MB/a (CPU: 59%)
- Per Character read: 701 kB/s (CPU: 97%)
- Random seeks: 300/s (CPU: 13%)
dd if=/dev/zero of=/home/neki/h bs=1M count=10000
10485760000 bytes (10 GB) copied, 52.8644 s, 198 MB/s
dd if=/dev/zero of=/home/neki/h bs=512k count=10000
5242880000 bytes (5.2 GB) copied, 23.8912 s, 219 MB/s
Poraba CPU in rama je visoka ... branje znakov je opazno počasnejše, morda zaradi 512k chunka. Morda ga bom zmanjšal. Sedaj je potrebno optimizirati sambo, kakšni predlogi? Pa kakšen pameten test hitrosti sambe ...
levaky ::
Meni se zdi obremenjenost CPUja pri seq. read in write nenormalno visoka... Jaz sem imel pri mdadm raid5 CPU okoli 10%. No, verjetno zavisi od procesorje, pri meni tiktaka najcenejši dvojedrni Intel i3.
Per char reade imam tudi jaz precej nizke, ampak tisto je baje precej neuporaben benchmark, ker v realnem svetu ni veliko takih branj. Je potem bolje testirati z iometer-om.
Samba je pa ena velka jeba:) Meni čez 80MB/s ne gre, medtem ko FTP, iSCSI in NFS brez problema žgejo konstantno 100MB/s. Pri sambi pa je prenos okoli 80MB/S(v total commanderju) oziroma okoli 60MB/s v explorerju. Pa tudi graf prenosov je bolj podoben žagi kot konstantnemu toku podatkov. Je pa res, da jaz ne uporabljam sambe, ampak ZFS CIFS strežnik.
Matej
Per char reade imam tudi jaz precej nizke, ampak tisto je baje precej neuporaben benchmark, ker v realnem svetu ni veliko takih branj. Je potem bolje testirati z iometer-om.
Samba je pa ena velka jeba:) Meni čez 80MB/s ne gre, medtem ko FTP, iSCSI in NFS brez problema žgejo konstantno 100MB/s. Pri sambi pa je prenos okoli 80MB/S(v total commanderju) oziroma okoli 60MB/s v explorerju. Pa tudi graf prenosov je bolj podoben žagi kot konstantnemu toku podatkov. Je pa res, da jaz ne uporabljam sambe, ampak ZFS CIFS strežnik.
Matej
trnvpeti ::
Sem probal na dokaj poceni AMD plati s starim Phenomom.
Dela dokaj solidno za največjo večino aplikacij, čeprav so od 10-tih diskov štrije na eksterni 4xSATA--PCIex4 kartici.
Hitrosti branja čez 400MB/s niso problem pri 256KiB chunku. Da se doseči čez 600MiB/s z večjim chunkom, vendar se s tem nisem hotel zezat, ker bi zbilo performanse pri manjših datotekah.
Pri teh Samsungih je treba pazit, ker ima 4KiB sektorje, emulira pa 512-bytne, da je stvar particionirana in filesystem inicializiran tako, da mu podatki optimalno padejo na to velikost...
Kartice te in druge vrste sem najceneje in najugodneje dobil pri Remisu...
Brane, na katerem OS si dobil te podatke?
trnvpeti ::
Jaz ne dobim taksnih rezultatov na centos.
Kako imas narejen manegment, dodatni diski v raid5, iscsi? Kaksen gui?
Sedaj bom probal se openfiler in openindiano.
Ali lahko pricakujem iste hitrosti pri linux, openfiler in oi?
To si testiral na OI?
Kako imas narejen manegment, dodatni diski v raid5, iscsi? Kaksen gui?
Sedaj bom probal se openfiler in openindiano.
Ali lahko pricakujem iste hitrosti pri linux, openfiler in oi?
Če vklopim compression, se seq performance močno poveča, seveda v škodo obremenjenosti CPUja....
Rezultati bonnie++:
- Seq write: 500MB/s (CPU 56%)
- Seq rewrite: 350MB/s (CPU 50%)
- Per Character write: 88MB/s (CPU 89%)
- Seq read: 913MB/a (CPU 44%)
- Per Character read: 90MB/s (CPU 95%)
- Random seeks: 10000/s
Kakorliko, glede na to, da imam v serverju samo 2x1Gbps mrežni, so že prejšnji rezultati več kot dovolj, je pa vseeno lepo videti, česa je zadeva zmožna...
To si testiral na OI?
Zgodovina sprememb…
- spremenil: trnvpeti ()
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| » | Začetek projekta OpenZFS (strani: 1 2 3 )Oddelek: Novice / Znanost in tehnologija | 16281 (11470) | BaToCarx |
| » | OS za SAN (strani: 1 2 3 )Oddelek: Operacijski sistemi | 15617 (11840) | jlpktnst |
| » | Poceni ESXi strežnik(izbira HWja)Oddelek: Strojna oprema | 2717 (2422) | levaky |
| » | Rack ohišje za diskovno poljeOddelek: Strojna oprema | 2404 (2280) | levaky |
| » | RAID5 - software, s pomocjo maticne, kako drugace.Oddelek: Strojna oprema | 2191 (1710) | Brane2 |