RAID5 - software, s pomocjo maticne, kako drugace.

Ravno sem si omislil 4x 1TB SATA diske (Seagate 7200.11) in si poskusam sestaviti sistem, kjer bi imel redundanco in pa vsaj priblizno hitrost branja, pisanja.

Racunalnik bom uporabljal predvsem za shranjevanje podatkov, za streamamje filmov z njega preko mreze in obcasno kot delovni comp. (torej je zazeljeno da bi bili gor Winsi).

Imam relativno ok masino za ta namen, ampak se zatakne pri hitrosti RAID5 polja.

AMD Athlon 64, 3,5Ghz
2GB RAM
Asus A8N-SLI Deluxe (nForce4 SLI Chipset in SiI 3114 chip na maticni za hardware assisted RAID)

Trenutno sem poskusil 2 kombinaciji.
1. Prikljucil vse 4 diske na SiI 3114 kontroler (sistemski disk je na PATA, torej locen od RAIDa). Branje je hitro, pisanje pa mi ne disi ravno najbolj. Tu so rezultati testa s HD Tune:



2. Prikljucil vse 4 diske na nForce4 kontroler (sistemski disk je na PATA - tudi na nforce4 kontrolerju) in vkljucil software raid5 v Windows 2003. HD Tune tu ne zna testirat hitrosti polja, tako da sem skopiral datoteko na in z polja in meril cas (ce ima kdo kaksen boljsi nacin za meritev se priporocam).
Nameril sem ~44MB/s povprecno branje z polja (mozno da vec, verjetno PATA disk ni zdrzal vec?) in ~9,6MB/s povprecno pisanje na polje.

Pri pisanju na polje sem opazil cuden pojav (ce se prav spomnim v obeh primerih). Zacetna hitrost je bila cca 40-50MB/s, nakar je po nekaj sekundah padlo na 500kB-1,5MB/s in ostalo tako kaksno minuto, nakar se cikel ponovi. Mogoce kaksen buffering podatkov ki jih potem pocasi pise na polje? Nebi vedel, je pa nadlezno. Mogoce kdo ve kako bi to "izklopil"?


Torej v obeh primerih je hitrost pisanja na polje porazna. Saj ne da hitrost pisanja rabim za kaksne posebne namene, ampak vseeno bi bilo zazeljeno vsaj 20MB/s pisanje na polje ce ne vec... Sploh ker je sam procesor takoreceno neobremenjen pri pisanju, torej tu ni problem. Zanima pa me kje je?
Ima kdo kaksno boljso resitev (tudi hardware RAID5 pride v postev, da je le poceni)?

Lp, AgiZ

ja ce je sistemski disk na pata vodilu, ti tist raid nic ne pomaga pri hitrosti tega diska

kontroler ki je motherboardu, je softwarski.
elegantne resitve ni, razen te da si kupis hardwerski raid kontroler. ob tem pa bi tud opazil vecjo razliko pri prenosu podatkov. seveda tudi odvisno od kontrolerja...

Mah, SW RAId bi moral delat, če je SW napisan zadosti dobro.

Evo ti rezultatov mojega RAID-6 polja, kjer je obenem tudi sistem:

1. Pisanje:

time dd if=/dev/zero of=/krneki.bin bs=1073741824 count=1 oflag=direct
1+0 zapisov na vhodu
1+0 zapisov na izhodu
1073741824 bajtov (1,1 GB) prepisanih, 5,50528 s, 195 MB/s

2. Branje:

time dd of=/dev/null if=/krneki.bin bs=1073741824 count=1 iflag=direct
1+0 zapisov na vhodu
1+0 zapisov na izhodu
1073741824 bajtov (1,1 GB) prepisanih, 3,62857 s, 296 MB/s

Zadeva je:

AMD X2 6000+
Plata nek FOxxcon džabakelj
4GB RAM
Dodana je extra PCI kartica z dvema SATA štekerjema
gor je 8 x 500GB Hitachi mislim v RAID6

Plata ima 6 + SATA konektor, extra disk je pa vštekan v kartico
OS: Gentoo linux
kernel: 2.6.24-hardened-r2

Suma sumarrum : 300MB/s pri branju in 200MB/s pri pisanju.

Mogoče mu pa žre CPU zato, ker je RAID5 komajda vzpostavil in mora mašina preračunat kontrolne vsote za disk ?

Ampak tudi to ne bi smelo žreti kaj dosti CPU časa, kvečjemu disk bandwidth...

Poskusil sem se dva testa:
2 diska na SiI, 2 na nForce kontrolerju. Software RAID5 v Win2003. Rezultat:
Read: 50MB/s
Write: 8,5MB/s
Torej enako porazno.

In pa se vsi 4 diski na SiI3114, RAID5 od maticne plosce:



Tako da od vseh dosedanjih testov je tale z nadgrajenim BIOSom maticne plosce in narejenim RAID5 s pomocjo maticne se najboljsi (15MB/s write).

Bom zaenkrat naredil kar tako polje, med tem pa me zanima kot sem ze zadnjic vprasal, katero raid5 kartico bi predlagali?

Zakaj pa ne postaviš diskov v raid 0+1? Tam ni treba kontrolerju nič računat, le podatke hkrati zapisuje na dva diska in dela še 1:1 backup tega...

Jah, če Linuxa ne moreš videt, pa zmontiraj diske v kako staro pixno, ziher maš kje kak star P3 Athlon XP ali P4...

Ok, obviously sem zabluzil s prejsnjim primerom.

Write:
time dd if=/dev/md0 of=/var/media/krneki.bin bs=1073741824 count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 24.4789 s, 43.9 MB/s

Read:
time dd of=/dev/null if=/var/media/krneki.bin bs=1073741824 count=1 iflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 6.09719 s, 176 MB/s

Upam da sem sedaj ok naredu.

V glavnem lepe stevilke. 176MB/s read in 43.9MB/s write. Will keep on testing.

Da se se jaz malo pohvalim. RAID5 na dedicated HW:

read: 1073741824 bytes (1.1 GB) copied, 8.12722 s, 132 MB/s

write: 1073741824 bytes (1.1 GB) copied, 4.49888 s, 239 MB/s

Ok, obviously sem zabluzil s prejsnjim primerom.

Malo manj obviosuly, ampak zabluzil si tudi s tem.
Ko testiraš pisanje, kopiraš iz /dev/zero ( virtualna "naprava" iz katere dobiš samo ničle) na svoj disk, torej:

Write:

time dd if=/dev/zero of=/dev/md0 bs=1073741824 count=1 oflag=direct


Read:

time dd of=/dev/null if=/dev/md0 bs=1073741824 count=1 iflag=direct



Slednje velja, če je RAID prazen in ga nisi še nikamor mountal.

Tisto kar sem jaz pisal je bilo na dodobra nafilanem in zmountanem disku.

Takrat sem vedel da bo nek fajl končal na RAIDu, če ga bom vpisal v mapo X in če sem hotel testirati branje, sem ga pač prebral nazaj.

Taki testi skozi filesystem praviloma kažejo slabše številke, kot ti jih dajo razni RAID tester testi.

Tako da je bolje iti na zgoraj prikazano varianto, VENDAR RAID NE SME BITI ZMOUNTAN IN GOR NE SMEJO BITI KAKI PODATKI KI JIH RABIŠ !

Poleg tega si v primeru z writeom zabluzil in je bil write bandwidth omejen s tvojim diskom, kjer imaš sistem, ne pa z RAIDom ( kopiral si z RAID na svoj system disk ) -kot je videti na prvi uč...

Ja, to je cool.

Pravzaprav megacool.

Kaj bi še rad ;o)

Ja, ampak potem pa dela. CIFS mi dela hitreje na Linuxu kot na Winsih, p2p pa lahko tako uštimaš, da ko padeš gor boš mislu da pršu v Leclerca ;o)

Sedaj se igram z btg. Komaj sem ga inštaliral, ne pa še skonfiguriral, je pa stvar videti strupeno dobro.

kkar se raida tiče, na linuxu vse opraviš z mdadm, torej zanj dobiš navodila z info mdadm oziroma man mdadm.

kratka varianta plonkceglca ob vsakem ukazu pade ven z ime_ukaza --help, torej mdadm --help, samo ne se igrat s tem, dokeler ne prebereš navodil.

Če te zanima stanje raida, ga dobiš z mdadm ( mislim, da opcija --query , ne vem točno, poglej ).
Lahko pa tudi pogledaš, kaj si kernel misli o njem s cat /proc/mdstat

Pravkar sem nastavil DELL Inspiron 1720 z dvema diskoma ( prenosnik) da dela direkt z RAID-a.

Je blo enkaj trikov za to, ampak dela ko mina. Če imaš sistemski disk drugje, je problemov manj.

Če rabiš nasvet/pomoč, povej. Lahko ti pošljem tudi scompilan kernel in ostalo.