☰

» »

Virtualizacija Proxmox, zfs, količina RAMa?

Virtualizacija Proxmox, zfs, količina RAMa?

Šmorn ::

Doma se za hobi igram s Proxmox virtualizacijskim strežnikom, na katerem bi vzpostavil naslednje VMje:
- pfSense router + firewall
- db server (debian + mariadb)
- web server (debian + nginx)
- nas4free
- ...

Strojna oprema je trenutno:
- i5-3470
- 16 GB RAM (nadgradljiv do 32 GB)
- 4x 500 GB disk
- 2x 2 TB disk
- en kup mrežnih kartic

Načrt imam, da bi naredil direktno na hostu zfs RAID 1 poole:
- 2 x 500 GB samo Proxmox namestitev
- 2 x 500 GB za vse VMje

2x 2 TB diska pa bi dal v passthrough način za NAS4Free VM, kjer bi ju spet dal v RAID 1 zfs pool.

Kako je z RAMom? NAS4free rabi 8 GB, potem pa predvidevam, da sam host rabi še enkrat toliko samo zaradi zfs, kaj šele za VMje. A ima kdo že podoben setup?

Če bi se zadeva obnesla bi zadevo uporabil za domači server. Za backup VMjev in podatkov imam na voljo še 2x zunanji disk.
  • spremenilo: Šmorn ()

b3D_950 ::

Za "home use" ima VM dovolj 1GB-4GB rama - razen če boš premetaval velike fajle ali če imaš veliko ljudi, ki bodo te VMje uporabljal.

S consumer-grade hardwareom ne pričakuj blaznih hitrosti, sploh pa s SATA diski v kombinaciji z ZFS.

Sicer pa testiraj in poročaj hitrosti, ker me zanima.


-> https://forum.proxmox.com/threads/poor-...

https://forum.proxmox.com/threads/step-...

https://forum.proxmox.com/threads/slow-...

https://forum.proxmox.com/threads/zfs-p...
Zdaj ko je mir, jemo samo krompir.

jukoz ::

Ram maš ECC?

Sicer malo off-topic, ampak ne pretirano:
nikoli, ampak res nikoli ne postavljaj FW, ki bo varoval notranje omrežje od zunanjega (internet) na virtualko.

Že tako verjetno ne boš redno pachal FW, kaj šele VM hosta. Rezultat bo da boš imel varnostne luknje na FWju in na VM srv:
https://marc.info/?l=openbsd-misc&m=119...

Za FW si najdi eno staro kišto in zmeči dovolj mrežnih not, ali pa uporabi VLANe če že moraš.

c3p0 ::

ZFS loves RAM, brez dedupa je nekje 1GB/TB minimum. Imam v produkciji proxmox kišto s 384GB RAM. ECC se zelo priporoča.

Sam bi ubral drugo pot, kot FreeBSD based NAS4Free v virtualki...

Razmisli še o L2ARC SSDju za caching, ker RAMa nimaš dosti.

Zgodovina sprememb…

  • spremenil: c3p0 ()

Hikari ::

Za zfs, nujno ECC ram. Če imaš rad svoje podatke, potem boš imeč za NAS posebej kišto, za CPU VM node pa posebej.

Šmorn ::

Pričakovani odgovori, glede na to kaj sem bral do zdaj. Za test bo, za produkcijo pa ne. Original plan je malce dražji (rabljen server za VM in podatke ter navadna kišta za firewall).

Poldi112 ::

Razmisli še o L2ARC SSDju za caching, ker RAMa nimaš dosti.


Sam imam Freenas in za tega se spomnim da sem bral, da se SSD za cache priporoča šele nekje od 64gb rama naprej, sicer znaš poslabšati situacijo.

Kako je z RAMom? NAS4free rabi 8 GB, potem pa predvidevam, da sam host rabi še enkrat toliko samo zaradi zfs, kaj šele za VMje. A ima kdo že podoben setup?


Pa rabiš zfs za proxmox?

Sam imam doma za igranje esxi (free), FreeNAS z HBA passthrough in potem pol virtualk na FreeNAS čez iscsi, pol pa direkt na SSD-ju. Freenas ima 2x3TB v mirror in je čist zadovoljen z 8GB. Ozko grlo mi je gigabit mreža.

ESXi pa nikoli ni imel 8GB samo zase. Prej 3-6, če odštejem tisto, kar dam virtualkam.
Where all think alike, no one thinks very much.
Walter Lippmann, leta 1922, o predpogoju za demokracijo.

Baja ::

zfs ne rabi nujno ECC rama, je pa priporočljiv. ob rednem scrubingu bodo podatki na varnem

Šmorn ::

Za proxmox načeloma ne rabim zfsa, samo bi rad imel inštalacijo na raidu, pa nimam pametne raid kartice. Software raida proxmox ne podpiram prav tako ne raida na matični.

jukoz ::

Jaz sem par let nazaj precej študiral v smeri VMjev, kaj pametnega naredit. Menjal sem en ESXi strežnik, kjer so gor development mašine. Nazadnje sem ugotovil da mi še najbolj odgovarja ena osnovna inštalacija Ubuntu serverja in en brezvezen Desktop, na njem na VirtualBox + VNC server

Najprej sem se odločal za ESXi, ker ga poznam, vendar je na koncu pretehtal VBox:
- lahko je na navadni mašini s SW raidom
- prenos na drugi strežnik je zelo enostaven (no, tudi iz ESXi-ja sem šel dol presenetljivo lahko)
- dela na različnih OSih
- VM srv je lahko super poceni napram ESXi certificiranim mašinam (šel sem sicer dol iz HP Microserver in bi bil sicer OK, vendar sem želel več rama)
- proxmox je tako kot ESXi pasji z raidi

Če nimaš nekih mission-critical mašin, pol priporočam da razmisliš o Vboxu

Ales ::

Šmorn je izjavil:

Za proxmox načeloma ne rabim zfsa, samo bi rad imel inštalacijo na raidu, pa nimam pametne raid kartice. Software raida proxmox ne podpiram prav tako ne raida na matični.
Linux software raid, mdraid, normalno dela s Proxmoxom, samo vnaprej ga moraš namestiti in skonfigurirati. Oni ga kao "ne podpirajo", kar pomeni, da se jim ne da ukvarjati s tem in v njihovem installerju opcije ni. Dela pa normalno.

Šmorn ::

Ali pa namestim Debiana z recimo XFCE za hosta, pa direkt kvm z nekim guijemm. Tisti zfs lahko na roke nastavim za virtualke. Pa md pri inštalaciji hosta in to je to.

krho ::

zfs+swap je en velik fuckup. Aka dela ne sploh oz. se obeša. Nisem pa prešaltal na swap file, da ti probal še to. Sem imel že tako ali tako vsega poln k.
si.Mail odprto-kodni odjemalec elektronske pošte. - http://www.simail.si
Uredite si svojo zbirko filmov, serij in iger - http://xcollect.sf.net

Zgodovina sprememb…

  • spremenil: krho ()

c3p0 ::

> Software raida proxmox ne podpiram prav tako ne raida na matični.

Lahko instaliraš plain Debian in nato Proxmox. Proxmox v bistvu ni nič druga, kot Debian s custom installerjem in dodatnimi deb paketi. Prava moč pa pride izraza šele ob več nodes, live migration ipd.

En dober feature ZFS-ja je kompresija, zna precej prihranit. Za tako domačo kišto z malo RAM pa bo mogoče sw raid1 čisto OK.

Šmorn ::

Naročil sem še 16 GB RAMa, en poceni AMDjev soc z nizko porabo za pfSense (80 EUR, s podporo AES-NI) pa grem v produkcijo. Inštalacija Proxmoxa bo na Debianu v md RAID 1. Ostalo pa na zfs.

jukoz ::

Ker AMD si vzel za FW?

Šmorn ::

ASRock QC5000-M-ITX/PH Kabini A4-5000

zee ::

krho je izjavil:

zfs+swap je en velik fuckup. Aka dela ne sploh oz. se obeša. Nisem pa prešaltal na swap file, da ti probal še to. Sem imel že tako ali tako vsega poln k.


Morda off topic vendar vseeno: Moj domač NAS (in obilica delovnih postaj v službi) teče na ZFSu. NAS ima 8 GB RAM-a, delovne postaje pa po 32 GB. ZFS uporabljam vse (/, swap in /home) in zadeva (Debian, Ubuntu) dela brez težav že kar nekaj časa.

Šmorn je izjavil:

Naročil sem še 16 GB RAMa, en poceni AMDjev soc z nizko porabo za pfSense (80 EUR, s podporo AES-NI) pa grem v produkcijo. Inštalacija Proxmoxa bo na Debianu v md RAID 1. Ostalo pa na zfs.


Ne kompliciraj. Debian lahko brez težav namestiš na mirror ZFS (Google: zfs debian root), potem pa naprej. Škoda izgubljati čas s particioniranjem, volumi (angl. volumes) in podobnimi forami. Za scrubbing tako ali tako spišeš enostavno skripto, ki teče enkrat na teden.
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

Zgodovina sprememb…

  • spremenilo: zee ()

krho ::

@zee. Here you go. https://github.com/zfsonlinux/zfs/issue.... Proxmox 4.4 oz 4.3 sta z nekaj iz 0.6 verzije. V Veziji 0.7 pa sploh nebi, ker so imeli dataloss.
si.Mail odprto-kodni odjemalec elektronske pošte. - http://www.simail.si
Uredite si svojo zbirko filmov, serij in iger - http://xcollect.sf.net

Zgodovina sprememb…

  • spremenil: krho ()

Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Custom dropbox/NAS

Oddelek: Loža		201922 (1224) miko22
»

Strežnik za ESXi - ali sploh?

Oddelek: Kaj kupiti		133193 (2784) krho
»

[docker] Poganjanje celotne virtual machine v dockerju

Oddelek: Operacijski sistemi		194716 (4140) c3p0
»

ZFS on Linux

Oddelek: Operacijski sistemi		92265 (1851) matevzm2
»

NAS ali "domačo rešitev"?

Oddelek: Kaj kupiti		204642 (3743) levaky

Več podobnih tem