Diskovje za obdelavo videa

Nameravamo kupiti sistem za obdelavo digitalnih filmov.
V glavnem bi šlo za kreiranje DCP, JPEG 2000 kodiranje in dekodiranje, podnaslavljanje, kriptiranje, branje in pisanje na LTO, ...

Za to pa se potrebujejo hitri in veliki diski.
Potrebovali bi 10TB prostora, razmišljam torej o 16TB diskovja v RAID 5.
Razmišljam o nabavi maxi tower ohišja z 4x 4TB SATA ali 5x 3TB SAS diskovjem in vgradno LTO 6 enoto. Druga opcija pa je diskovje v racku. V tem primeru je še vprašanje, ali potrebujemo Fibre Channel povezavo.

Dilema je glede tega, ali nabaviti SAS ali SATA3 diskovje.
Je SAS toliko hitrejši od SATA3? Ima kakšne druge prednosti?
Prioriteta je hitrost, ne toliko zanesljivost, ker je itak vir na LTO, diskovje služi le za obdelavo. Pa tudi ni namenjeno 24/7 obratovanju.

Vidim, da obstajajo matične z onboard SAS kontrolerji.
So PCI-e kontrolerji boljši (npr za RAID)?

Če ima kdo s tem izkušnje, se zahvaljujem za kakšno informacijo.

Vzami LSI raid kontroler z dodatno licenčno opcijo, da ti uporablja ssd ali dva kot cache. Potem skupaj z baterijo dosežeš prijetne hitrosti zapisovanja (prek GB/s), hkrati pa še vedno lahko gor obesiš 8-64 diskov, odvisno od izbranega modela.

Onboard sata/sas potem uporabiš samo za OS.

Hvala za info.

Glede cene je tako, da vem, da je SAS dražje, ampak šlo bo za profesionalno uporabo in če se višji strošek lahko upraviči, bi šlo skozi. Jasno pa, da je cena pomemben faktor. In očitno bo software stal skoraj toliko kot hardware. No, najbrž bo tudi dlje uporaben.

Vem, da je rack varianta manj priročna, ne vem pa, če je boljša v kakšnem smislu (RAID, hlajenje,...). Pa nisem mislil, da bi jo priklopil preko LAN, ampak SAS ali FC kontrolerja.

Torej, dovolj bo SATA3 in RAID kontroler v kišti. Pa najbrž ustrezna ventilacija.
Tako bi uporabil (za enkrat) 4 x 4TB diske, ohišje bi poiskal tako, da gre notri še kakšen.

Zakaj pa kontrolerja ni za dobiti, če crkne?

Glede LSI kontrolerja z SSD kot cache sicer ne vem še ničesar, a se bom pozanimal. Ni mi pa jasno, kako se doseže GB/S, ko pa je že omejitev SATA3 6 Gb/s.

Ima kdo kakšen predlog glede ohišja?
Ne zanima me estetika, ampak le prezračevanje in eventuelno glasnost.

Kaj pa diski?
Kot vidim, 4TB SATA3 obstajajo WD, Seagate in Hitachi, vsi s približno istimi karakteristikami. Nekateri imajo oznako Raid Edition. A to kaj pomeni?

SplitCookie ne govori, če nimaš pojma. Raid kontrolerjev pač ne kupuješ kot grafične kartice pri sosedu, kjer je na voljo samo tista po tazadnji modi, da bi jih imel na zalogo, pa se mu ne splača.

Zavajon: glej sem, izberi 92xx-8i glede na verzijo pcie in višino kartice. Verjetno ti bo zanimiv 9271-8iCC, ki ima "CacheCade" (prej omenjeni ssd caching) že zraven. Vzameš dva ssdja + max 6 diskov in si dober za kar nekaj časa.

Če bo mašina res kolikortoliko profesionalna, jo vzameš pri kateremkoli znanem imenu in ti dajo tak kontroler notri, s kako support pogodbo pa ti ga lahko tudi držijo na rezervi. Sicer zadnjih nekaj let nisem slišal, da bi crkovali (pa jih imam nekaj 100 v produkciji, sicer ene druge modele), crkujejo pa baterije, ki se morajo menjati na nekaj let.

Aha. Torej hočeš reči, da če kontroler crkne, ga moraš zamenjati z identičnim, sicer ne dobiš podatkov? Morda sprašujem banalnosti, a zame je bil do zdaj dovolj notebook in ITX ;)

Varnost glede podatkov ne bo tako kritičen problem, ker bodo gor le datoteke za obdelavo. Kasneje gre vse na LTO. Problem je ta, ker so digitalni filmi zelo veliki, že 4k DCP pride lahko 500GB, master je tudi 8TB. Zato mora biti diskovje veliko in hitro.

@pegasus
Hvala z link, bom preveril.

Nam zaupaš, kater model kontrolerja je to bil?

Za vsak primer torej kupiti še en rezerven kontroler.
Slightly offtopic: Kako se obnese dm-cache/flashcache/bcache v navezi z mdadm in SSD za cache? Kolikor sem bral, piše, da za majhna pisanja ni nek biser, za sekvenčno pisanje pa se kar dobro obnese, vendar je vse skupaj še vedno v testni fazi. Kar je velik minus. Ima kdo izkušnje iz prve roke?

Programski raid je precej fajn :))
Sploh za take simpel stvari, ko imaš tudi dosti CPU-ja na rezervo.

+ za ceno raid kontrolerja nabaviš večji/še en disk

Lej, če uporabljaš obskuren hw (ja, sorry, adaptec ni več to kar je bil) v kombinaciji z obskurnim sw (as much as I like BSDs ...), moraš pač to vzeti v zakup. Take kombinacije so ok za hobi in absolutno prepovedane za produkcijo.

JBG, kaj zdaj ko je šlo že vse narobe ?
Sej delalo je super, ko je delalo. Sam za take zadeve nikjer ne veš kje in kdaj te bodo doletele.:)

Razen kadar crkne disk ... še ni niti ene implementacije po celem storage stacku, kjer bi zamenjal disk, na katerem sveti rdeča lučka in bi se rebuild zgodil avtomatsko, brez intervencije v command lienu. Pri programskem raidu imaš ponavadi že kar nekaj dela da ugotoviš sploh, kateri disk je crknil, kaj se bo zgodilo ko ga potegneš ven, bo OS videl nov disk, s katerim ga boš zamenjal in kako potem sploh narediti rebuild. Nontrivial za userja, ki bi rad editiral video ...

Programski raid je ok, ker ti smart še vedno dela in ga lahk bereš. Crkujoč disk - ja, zna biti zabavno.

Kaj ima manj kot 1 dan downtime-a, crknjen HW kontroler ali disk na SW kontrolerju?

Pouči se o sasu. En tak kontroler ti šofira supermicro škatlo z 72 diski. Obstajajo namreč SAS expanderji, ki ti omogočajo, da na en sas kanal ("priključek") priklopiš več diskov. SAS kanal namreč ponuja precej več prepustnosti kot jo je en sam disk sposoben napolniti.

Also, če nisi vešč v tem, napiši specifikacije kaj želiš početi z mašino in pošlji nekaj ponudnikom, da ti pošljejo predračune. Bodo poskrbeli tudi za to, da bodo klapali vsi kabli in priključki. Ne se zapičit v en sam kos hardvera ("to kartico hočem!"), zapiči se v to kar želiš počet.

Zakaj pa več problemov kot koristi z LTO? Je še kakšna alternativa za arhiviranje? Kot sledim temu področju, se LTO vedno bolj uporablja. Tudi z diski so problemi. Jasno pa je, da noben medij ni popolnoma zanesljiv.

Tudi keramika je še OK. Še dandanes obstajajo 5000 let stare sumerske keramične plošče s klinopisi.