Forum » Operacijski sistemi » [Linux] FS z "preprostim" LRU cachem
[Linux] FS z "preprostim" LRU cachem
Vesoljc ::
Za domace potrebe si zelim postavit lokalni server, ki bi sluzil tudi kot NAS. Ze nekaj casa pregledujem in studiram stvari, kako si uredit vsaj nek osnoven cache-ing. Od LVM cache-ing, bcache, zfs, unraid, true nas, ipd... Ampak se nekako ne najdem v nobenem od teh...
Zelim si imet main storage v smislu raida 1/10, ter ssd cache ki bi sluzil tako za read in write (write back).
Kar me najbolj matra je cache policy, nekako ne najdem nekaj preprostega kot je LRU.
Kak predlog?
Zelim si imet main storage v smislu raida 1/10, ter ssd cache ki bi sluzil tako za read in write (write back).
Kar me najbolj matra je cache policy, nekako ne najdem nekaj preprostega kot je LRU.
Kak predlog?
Abnormal behavior of abnormal brain makes me normal...
pegasus ::
Preveč kompliciraš.
Cache design začneš s tem, da izmeriš io patterns, ki jih imaš. Za domač NAS so nekje 99% read in 1% write, torej ti vsi našteti cache izdelki služijo vrh glave dovolj dobro.
Cache design začneš s tem, da izmeriš io patterns, ki jih imaš. Za domač NAS so nekje 99% read in 1% write, torej ti vsi našteti cache izdelki služijo vrh glave dovolj dobro.
Vesoljc ::
najbolj trivialen setup ala lvm cache ima "hot spot" policy. file moras 5-10x prebrat da zacne njegove bloke sploh metat v cache.
se eni stvari bi se rad izognu, spin-up time-u. ceprav ni najbolj zdravo, se mi v trenutnem setupu, diski ugasajo po uri neaktivnosti. response time, ko prvic potem accessas nekaj je precej annoying. lru cache bi mi tukaj resil 99% delayov
se eni stvari bi se rad izognu, spin-up time-u. ceprav ni najbolj zdravo, se mi v trenutnem setupu, diski ugasajo po uri neaktivnosti. response time, ko prvic potem accessas nekaj je precej annoying. lru cache bi mi tukaj resil 99% delayov
Abnormal behavior of abnormal brain makes me normal...
pegasus ::
Ti torej iščeš HSM. Tak špas ni poceni, HSM rešitve se ponavadi dizajnirajo za velika okolja. Se pa na archlinux forumih najde nekaj lvm skriptovja, ki doseže podobne efekte na "lab scale" setupu.
Vesoljc ::
ja, sem zelo hiter ugotovil, da se stvari precej zakomplicirajo :)
nic, bo treba bcache probat, pravijo da uporablja LRU
nic, bo treba bcache probat, pravijo da uporablja LRU
Abnormal behavior of abnormal brain makes me normal...
SasoS ::
Rabiš tukaj sploh avtomatiko?
Jaz diske ročno ugašam (raid6), server ima pa 2x SSD in 2x nvme delovnih particij v raid1. Tisto kar stalno rabim (VM okolja) je na nvme, na SSD kopiram trenutni working set, ko ne rabim več gre na diske. Redko bi si zamislil da bi mašina sama nekaj keširala...če gledaš serijo jo v cache-u ne bo, ko si jo pogledal jo v cache-u ne rabiš več. SSD je danes tako poceni, da 1TB working space-a ne stane veliko, prostora je pa čez glavo zadosti da ne rabiš premikat med diski vsak dan...
Jaz diske ročno ugašam (raid6), server ima pa 2x SSD in 2x nvme delovnih particij v raid1. Tisto kar stalno rabim (VM okolja) je na nvme, na SSD kopiram trenutni working set, ko ne rabim več gre na diske. Redko bi si zamislil da bi mašina sama nekaj keširala...če gledaš serijo jo v cache-u ne bo, ko si jo pogledal jo v cache-u ne rabiš več. SSD je danes tako poceni, da 1TB working space-a ne stane veliko, prostora je pa čez glavo zadosti da ne rabiš premikat med diski vsak dan...
Lonsarg ::
Smo leta 2023, sedaj nimaš več HDD z SSD cache, ampak imaš SSD z RAM cache, pa še to le za res ekstremne situacije (in takrat kupiš hardware based zadevo, ki ima ta RAM cache že vgrajen).
V večini primerov greš lepo SSD only za data in nvme only za working partition. HDD pa zgolj za dodatni letni backup, da kopiraš gor in daš v omaro.
SSD je res 2x dražji od HDD, ampak ko všteješ pokvarljivost HDDjev plus dodatno porabo elektrike dolgoročno pride zgolj 1.5x dražji, ali pa še manj.
V večini primerov greš lepo SSD only za data in nvme only za working partition. HDD pa zgolj za dodatni letni backup, da kopiraš gor in daš v omaro.
SSD je res 2x dražji od HDD, ampak ko všteješ pokvarljivost HDDjev plus dodatno porabo elektrike dolgoročno pride zgolj 1.5x dražji, ali pa še manj.
Zgodovina sprememb…
- spremenil: Lonsarg ()
Ales ::
Cene NVMe tudi že lepo padajo. Čisto spodoben 4 TB Lexar NM790 pride že tam 170 EUR +DDV v maloprodaji.
OK, ima počasen random write zaradi uporabe sistemskega RAM-a, ostalo je pa v vrhu.
OK, ima počasen random write zaradi uporabe sistemskega RAM-a, ostalo je pa v vrhu.
Vesoljc ::
ah, zdej ste ze mal prevec zasli...
hw je ze doma, v nove stvari ne bom dodatno investiral. trenuten setup je 6/12 am4, 64gb, 10g lan, nvme za os, raid 1+0 (14tb diski), imam pa tudi 2x 1tb ssd, ki bi jih uporabil za cache.
za bcache naj bi slo dat 2x ssd v mirror mode (prek lvm), ter jih uporabit kot rw cache.
hw je ze doma, v nove stvari ne bom dodatno investiral. trenuten setup je 6/12 am4, 64gb, 10g lan, nvme za os, raid 1+0 (14tb diski), imam pa tudi 2x 1tb ssd, ki bi jih uporabil za cache.
za bcache naj bi slo dat 2x ssd v mirror mode (prek lvm), ter jih uporabit kot rw cache.
Abnormal behavior of abnormal brain makes me normal...
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| ! | Hitrost vašega trdega diska, SSD-ja, ... (strani: 1 2 3 4 … 44 45 46 47 )Oddelek: Strojna oprema | 603410 (60810) | hariscorale |
| » | SSD vs HDD v strežnikuOddelek: Kaj kupiti | 2713 (2051) | Ishmael |
| » | SSD-ji vzdržljivejši od pričakovanj proizvajalcev (strani: 1 2 3 4 )Oddelek: Novice / Diski | 49489 (43016) | hojnikb |
| » | SSD vs HDD (strani: 1 2 3 4 5 )Oddelek: Strojna oprema | 51827 (48708) | MrStein |